Распределенные массивы

Параллельный анализ наборов больших данных с помощью распределенных массивов и одновременное выполнение

Parallel Computing Toolbox™ поддерживает распределенные массивы, чтобы разделить большие массивы на несколько MATLAB® рабочие. Вы работаете со всем массивом как с единой сущностью, однако работники работают только со своей частью массива и автоматически передают данные между собой при необходимости. Одновременное выполнение поддерживается одной программой с несколькими данными (spmd) языковая конструкция для облегчения общения между работниками. Используйте распределенные матричные операции и функции, чтобы работать непосредственно с этими массивами без дальнейших изменений. Можно использовать распределенные массивы в Parallel Computing Toolbox, чтобы запустить приложения больших данных с помощью объединенной памяти вашего кластера.

Функции

расширить все

distributedСоздайте распределенный массив из данных в рабочей рабочей области клиента или datastore
gatherПеренесите распределенный массив или gpuArray в локальную рабочую область
spmdВыполните код параллельно для работников параллельного пула
CompositeСоздайте Составной объект
parallel.pool.ConstantСоздайте parallel.pool.Constant из данных или указателя на функцию
codistributedСоздайте кодораспределенный массив из реплицированных локальных данных
parpoolСоздайте параллельный пул в кластере
delete (Pool)Завершите работу параллельного пула
redistributeПерераспределите кодовый распределенный массив с другой схемой распределения
codistributed.buildСоздайте распределенный массив из распределенных данных
forfor-цикл в распределённой области значений
getLocalPartЛокальный фрагмент кодируемого массива
globalIndicesГлобальные индексы для локальной части кодируемого массива
gopГлобальная операция для всех работников
writeЗапись распределенных данных в выход местоположение
pagefunПрименить функцию к каждой странице распределенного массива или gpuArray

Классы

расширить все

distributedДоступ к элементам распределенных массивов от клиента
codistributedДоступ к элементам массивов, распределенных между работниками в параллельном пуле
CompositeДоступ к неразраспределенным переменным для нескольких работников от клиента
codistributor1d1-D схему распределения для кодового распространения массива
codistributor2dbc2-D блок-циклическую схему распределения для кодового распространения массива
parallel.PoolПараллельный пул работников

Примеры и как

Создание и использование распределенных массивов

Когда ваш массив данных слишком велик, чтобы помещаться в память одной машины, можно создать distributed массив.

Запуск функций MATLAB с распределенными массивами

Функции MATLAB, которые работают с распределенными массивами

Распределение массивов среди параллельных рабочих

Использовать datastore или distributed чтобы создать распределенные массивы и разделить данные между вашими работниками

Запуск одиночных программ на нескольких наборах данных

Использование spmd операторы для запуска одного и того же кода на нескольких наборах данных и управления распределенными массивами

Доступ к рабочим переменным с композитами

Составные объекты в клиенте MATLAB сеанса позволяют вам непосредственно получить доступ к значениям данных о работниках.

Обучите сеть параллельно с пользовательским циклом обучения

В этом примере показано, как настроить пользовательский цикл обучения для параллельного обучения сети.

Использование GOP для достижения MPI_Allreduce функциональности

В этом примере мы рассмотрим gop функция и функции, которые на ней строятся: gplus и gcat.

Числовая оценка Pi с использованием передачи сообщения

Этот пример показывает основы работы с операторами spmd и то, как они обеспечивают интерактивное средство выполнения параллельных расчетов.

Выберите между spmd, parfor и parfeval

Сравнение и контрастность spmd против других функций параллельных вычислений, таких как parfor и parfeval.

Концепции

Запуск кода в параллельных пулах

Узнайте о запуске и остановке параллельных пулов, размере пула и выборе кластера.

Задайте свои параллельные настройки

Задайте свои настройки и автоматически создайте параллельный пул.

Неразраспределенные и распределенные массивы

Описывает различные типы массивов, используемых в общении заданий

Работа с кодированными массивами

Описывает, как использовать codistributed arrays для вычисления

Петля по распределённой области значений (for-drange)

Описывает, как запрограммировать for-цикл с кодовым распространением массивов

Работа с удаленными данными

Работа с удаленными данными в Amazon S3™, Azure® Хранилище больших двоичных объектов или HDFS™.

Рекомендуемые примеры