exponenta event banner

Распределенные массивы

Параллельный анализ наборов больших данных с использованием распределенных массивов и одновременного выполнения

Parallel Computing Toolbox™ поддерживает распределенные массивы для разделения больших массивов на несколько работников MATLAB ®. Вы работаете со всем массивом как с одной сущностью, однако работники работают только со своей частью массива и при необходимости автоматически передают данные между собой. Одновременное выполнение поддерживается несколькими данными одной программы (spmd) языковая конструкция для облегчения общения между работниками. Используйте распределенные матричные операции и функции для работы непосредственно с этими массивами без дальнейших изменений. Распределенные массивы в Parallel Computing Toolbox можно использовать для запуска приложений больших данных с использованием объединенной памяти кластера.

Функции

развернуть все

distributedСоздание распределенного массива на основе данных в рабочей области клиента или хранилище данных
gatherПеренос распределенного массива или gpuArray в локальную рабочую область
spmdВыполнять код параллельно для работников параллельного пула
CompositeСоздание составного объекта
parallel.pool.ConstantПостроение parallel.pool.Constant из дескриптора данных или функции
codistributedСоздать распределенный массив из реплицированных локальных данных
parpoolСоздание параллельного пула в кластере
delete (Pool)Завершение работы параллельного пула
redistributeПерераспределить распределенный по коду массив с другой схемой распределения
codistributed.buildСоздание распределенного массива из распределенных данных
forfor-закольцовывание по распределенному диапазону
getLocalPartЛокальная часть распределенного по кодам массива
globalIndicesГлобальные индексы для локальной части распределенного по кодам массива
gopГлобальная эксплуатация для всех работников
writeЗапись распределенных данных в расположение вывода
pagefunПрименение функции к каждой странице распределенного массива или gpuArray

Классы

развернуть все

distributedДоступ к элементам распределенных массивов от клиента
codistributedЭлементы доступа к массивам, распределенным между работниками в параллельном пуле
CompositeДоступ к нераспределенным переменным для нескольких работников из клиента
codistributor1d1-D схема распределения для совместно распределенного массива
codistributor2dbc2-D схема блочно-циклического распределения для распределенного по коду массива
parallel.PoolПараллельный пул работников

Примеры и способы

Создание и использование распределенных массивов

Если массив данных слишком велик для размещения в памяти одного компьютера, можно создать distributed массив.

Выполнение функций MATLAB с распределенными массивами

Функции MATLAB, работающие на распределенных массивах

Распределение массивов по параллельным работникам

Использовать datastore или distributed для создания распределенных массивов и разделения данных между работниками

Запуск отдельных программ для нескольких наборов данных

Использовать spmd операторы для выполнения одного и того же кода в нескольких наборах данных и управляющих распределенных по коду массивах

Доступ к рабочим переменным с помощью композитов

Составные объекты в клиентском сеансе MATLAB позволяют напрямую обращаться к значениям данных работников.

Сеть поездов параллельно с индивидуальным контуром обучения

В этом примере показано, как настроить пользовательский цикл обучения для параллельного обучения сети.

Использование GOP для достижения MPI_Allreduce функциональности

В этом примере мы рассмотрим gop функция и функции, которые на ней строятся: gplus и gcat.

Численная оценка Pi с использованием передачи сообщений

В этом примере показаны основы работы с инструкциями spmd и их интерактивные средства выполнения параллельных вычислений.

Выберите между spmd, parfor и parfeval

Сравнение и контраст spmd против других функций параллельных вычислений, таких как parfor и parfeval.

Понятия

Выполнение кода для параллельных пулов

Сведения о запуске и остановке параллельных пулов, размере пула и выборе кластера.

Укажите параметры параллельности

Укажите настройки и автоматически создайте параллельный пул.

Нераспределенные и распределенные массивы

Описывает различные типы массивов, используемых при передаче заданий

Работа с распределенными массивами

Описывает, как использовать совместно распределенные массивы для расчета

Закольцовывание по распределенному диапазону (для drange)

Описывает, как программировать for-loop с распределенными массивами

Работа с удаленными данными

Работа с удаленными данными в Amazon S3™, Azure ® Blob Storage или HDFS™.

Характерные примеры