Распределенные массивы

Анализируйте большие наборы данных в параллели с помощью распределенных массивов и одновременного выполнения

Parallel Computing Toolbox™ поддерживает распределенные массивы, чтобы разделить большие массивы через несколько MATLAB® рабочие. Вы работаете с целым массивом как одна сущность, однако, рабочие действуют только с их стороны массива, и автоматически передают данные между собой при необходимости. Одновременное выполнение поддерживается одной программой несколько данных (spmd) построение языка, чтобы упростить связь между рабочими. Используйте распределенные поддерживающие операции над матрицей и функции, чтобы работать непосредственно с этими массивами без дальнейшей модификации. Можно использовать распределенные массивы в Parallel Computing Toolbox, чтобы запустить большие применения данных с помощью объединенной памяти о кластере.

Функции

развернуть все

distributedСоздайте распределенный массив из данных в клиентской рабочей области или datastore
gatherПередайте распределенный массив или gpuArray к локальной рабочей области
spmdВыполните код параллельно на рабочих параллельного пула
CompositeСоздайте Составной объект
parallel.pool.ConstantСоздайте parallel.pool.Constant из данных или указателя на функцию
codistributedСоздайте codistributed массив из реплицированных локальных данных
parpoolСоздайте параллельный пул в кластере
delete (Pool)Закройте параллельный пул
redistributeПерераспределите codistributed массив с другой схемой распределения
codistributed.buildСоздайте codistributed массив из распределенных данных
forfor- цикл в распределенной области значений
getLocalPartЛокальный фрагмент codistributed массива
globalIndicesГлобальные индексы для локальной части codistributed массива
gopГлобальная операция через всех рабочих
writeЗапишите распределенные данные в выходное местоположение
pagefunПримените функцию к каждой странице распределенного массива или gpuArray

Классы

развернуть все

distributedДоступ к элементам распределенных массивов от клиента
codistributedДоступ к элементам массивов распределяется среди рабочих в параллельном пуле
CompositeДоступ к нераспределенным переменным на нескольких рабочих от клиента
codistributor1d1D схема распределения codistributed массива
codistributor2dbc2D циклическая блоком схема распределения codistributed массива
parallel.PoolПараллельный пул рабочих

Примеры и руководства

Создайте и используйте распределенные массивы

Когда ваш массив данных является слишком большим, чтобы поместиться в память об одной машине, можно создать a distributed массив.

Запустите функции MATLAB с распределенными массивами

Функции MATLAB, которые работают с распределенными массивами

Распределительные массивы, чтобы быть параллельными рабочим

Использование datastore или distributed создать распределенные массивы и разделить данные среди ваших рабочих

Запустите одну программы на нескольких наборах данных

Используйте spmd операторы, чтобы запустить тот же код по нескольким наборам данных и управлять codistributed массивами

Доступ к переменным рабочего с составными объектами

Составные объекты на клиентском сеансе MATLAB позволяют вам непосредственно значения данных доступа на рабочих.

Обучите сеть параллельно с пользовательским учебным циклом (Deep Learning Toolbox)

В этом примере показано, как настроить пользовательский учебный цикл, чтобы обучить сеть параллельно.

Используя GOP, чтобы достигнуть функциональности MPI_Allreduce

В этом примере мы смотрим на gop функционируйте и функции, которые основываются на нем: gplus и gcat.

Числовая оценка пи Используя передачу сообщений

Этот пример показывает основы работы с spmd операторами, и как они обеспечивают интерактивные средние значения выполнения параллельных расчетов.

Выберите Between spmd, parfor, и parfeval

Сравните и контрастируйте spmd против другой функциональности параллельных вычислений, такой как parfor и parfeval.

Концепции

Запустите код по параллельным пулам

Узнайте о запуске и остановке параллельных пулов, объедините размер и кластерный выбор.

Задайте свои параллельные настройки

Задайте свои настройки, и автоматически создайте параллельный пул.

Нераспределенный по сравнению с распределенными массивами

Описывает различные типы массивов, используемых в связывающихся заданиях

Работа с массивами Codistributed

Описывает, как использовать codistributed массивы для вычисления

Цикличное выполнение в распределенной области значений (для - drange)

Описывает, как программировать for- цикл с codistributed массивами

Работа с удаленными данными

Работа с удаленными данными в Amazon S3™, Azure® Устройство хранения данных блоба или HDFS™.

Сопутствующая информация

Рекомендуемые примеры