mapreduce, на кластерах Spark ® и Hadoop ®Можно использовать Parallel Computing Toolbox™ для параллельного распределения больших массивов среди нескольких работников MATLAB ®, чтобы запускать приложения больших данных, использующие объединенную память кластера. Вы работаете со всем массивом как с одной сущностью, однако работники работают только со своей частью массива и при необходимости автоматически передают данные между собой. Parallel Computing Toolbox также позволяет выполнять массив MATLAB ® tall иdatastore параллельные вычисления, чтобы можно было анализировать наборы больших данных, которые не помещаются в память кластера. Вы можете использовать MATLAB Parallel Server™ для запуска массива tall и datastore вычисления параллельно на кластерах Hadoop с поддержкой Spark. Это значительно сокращает время выполнения очень больших вычислений данных.
mapreduce на кластерах Spark и Hadoop и параллельных пулах