Обработка Больших данных

Анализируйте наборы больших данных параллельно с помощью распределенных массивов, длинных массивов, хранилищ данных или mapreduce, на Искру® и Хадуп® кластеры

Можно использовать Parallel Computing Toolbox™, чтобы распределять большие массивы параллельно между несколькими работниками MATLAB ®, чтобы можно было запускать приложения больших данных, которые используют объединенную память вашего кластера. Вы работаете со всем массивом как с единой сущностью, однако работники работают только со своей частью массива и автоматически передают данные между собой при необходимости. Parallel Computing Toolbox также позволяет вам выполнять MATLAB® длинный массив и datastore вычисления параллельно, чтобы можно было анализировать наборы больших данных, которые не помещаются в памяти вашего кластера. Можно использовать MATLAB Parallel Server™, чтобы запустить длинный массив и datastore параллельные вычисления кластеров Hadoop с поддержкой Spark. Это значительно сокращает время выполнения очень больших вычислений данных.

  • Распределенные массивы
    Параллельный анализ наборов больших данных с помощью распределенных массивов и одновременное выполнение
  • Длинные массивы и mapreduce
    Анализируйте наборы больших данных параллельно с помощью длинные массивы и datastores или mapreduce на кластерах Spark и Hadoop и параллельных пулах

Рекомендуемые примеры