mapreduce
, на Искру® и Хадуп® кластерыМожно использовать Parallel Computing Toolbox™, чтобы распределять большие массивы параллельно между несколькими работниками MATLAB ®, чтобы можно было запускать приложения больших данных, которые используют объединенную память вашего кластера. Вы работаете со всем массивом как с единой сущностью, однако работники работают только со своей частью массива и автоматически передают данные между собой при необходимости. Parallel Computing Toolbox также позволяет вам выполнять MATLAB® длинный массив и datastore
вычисления параллельно, чтобы можно было анализировать наборы больших данных, которые не помещаются в памяти вашего кластера. Можно использовать MATLAB Parallel Server™, чтобы запустить длинный массив и datastore
параллельные вычисления кластеров Hadoop с поддержкой Spark. Это значительно сокращает время выполнения очень больших вычислений данных.
mapreduce
на кластерах Spark и Hadoop и параллельных пулах