Документация

Как MATLAB отображает массив Codistributed

Для каждого рабочего Командное окно Параллели MATLAB отображает информацию о codistributed массиве, локальном фрагменте и codistributor. Например, 8 8 единичная матрица codistributed среди четырех рабочих, с двумя столбцами на каждом рабочем, отображается как это:

>> spmd
II = eye(8,"codistributed")
end
Worker 1: 
  This worker stores II(:,1:2).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]
Worker 2: 
  This worker stores II(:,3:4).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]
Worker 3: 
  This worker stores II(:,5:6).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]
Worker 4: 
  This worker stores II(:,7:8).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]

Чтобы видеть фактические данные в локальном сегменте массива, используйте getLocalPart функция.

Сколько распределяется каждому рабочему

В распределении массива N строки, если N является равномерно делимым количеством рабочих, MATLAB хранит одинаковое число строк (N/numlabs) на каждом рабочем. Когда этот номер не является равномерно делимым количеством рабочих, MATLAB делит массив максимально равномерно.

MATLAB обеспечивает codistributor свойства объектов под названием Dimension и Partition то, что можно использовать, чтобы определить точное распределение массива. Смотрите Индексацию в Массив Codistributed для получения дополнительной информации об индексации с codistributed массивами.

Распределение других типов данных

Можно распределить массивы любого MATLAB встроенный тип данных, и также числовые массивы, которые являются комплексными или разреженными, но не массивы указателей на функцию или типов объектов.

Разделение большего массива

Если у вас уже есть большой массив в памяти, что вы хотите MATLAB к процессу более быстро, можно разделить его в меньшие сегменты и распределить эти сегменты всем рабочим, использующим codistributed функция. У каждого рабочего затем есть массив, который является частью размер оригинала, таким образом уменьшая время, требуемое получить доступ к данным, которые локальны для каждого рабочего.

Как простой пример, следующая строка кода создает 4 8 реплицированную матрицу на каждом рабочем, присвоенном переменной A:

spmd, A = [11:18; 21:28; 31:38; 41:48], end
A =
    11    12    13    14    15    16    17    18
    21    22    23    24    25    26    27    28
    31    32    33    34    35    36    37    38
    41    42    43    44    45    46    47    48

Следующая строка использует codistributed функционируйте, чтобы создать сингл 4 8 матричный D это распределяется вдоль второго измерения массива:

spmd
    D = codistributed(A);
    getLocalPart(D)
end

1: Local Part  | 2: Local Part  | 3: Local Part  | 4: Local Part
    11    12   |     13    14   |     15    16   |     17    18
    21    22   |     23    24   |     25    26   |     27    28
    31    32   |     33    34   |     35    36   |     37    38
    41    42   |     43    44   |     45    46   |     47    48

Массивы A и D одного размера (4 8). Массив A существует в его полном размере на каждом рабочем, в то время как только сегмент массива D существует на каждом рабочем.

spmd, size(A), size(D), end

Исследуя переменные в клиентской рабочей области, массив, который является codistributed среди рабочих в spmd оператор, распределенный массив с точки зрения клиента вне spmd оператор. Переменными, которые не являются codistributed в spmd, являются Составные объекты в клиенте вне spmd.

whos  
  Name        Size               Bytes  Class                   Attributes

  A           1x4                  489  Composite                         
  D           4x8                  256  distributed                       

Смотрите codistributed страница ссылки на функцию для синтаксиса и информации об использовании.

Создание от меньших массивов

codistributed функция менее полезна для сокращения объема памяти, требуемого хранить данные, когда вы сначала создаете полный массив в одной рабочей области и затем делите его в распределенные сегменты. Чтобы экономить на памяти, можно создать мелкие кусочки (локальная часть) на каждом рабочем сначала, и затем использовать codistributed.build объединить их в единый массив, который распределяется на рабочих.

Этот пример создает 4 250 различный массив на каждом из четырех рабочих и затем использует codistributor распределить эти сегменты на четырех рабочих, создавая 4 1000 codistributed массив. Вот различный массив, A:

spmd
  A = [1:250; 251:500; 501:750; 751:1000] + 250 * (labindex - 1);
end

    WORKER 1             WORKER 2             WORKER 3
  1    2 ... 250 |  251   252 ... 500 |  501   502 ... 750 | etc.
251  252 ... 500 |  501   502 ... 750 |  751   752 ...1000 | etc.
501  502 ... 750 |  751   752 ...1000 | 1001  1002 ...1250 | etc.
751  752 ...1000 | 1001  1002 ...1250 | 1251  1252 ...1500 | etc.
                 |                    |                    |

Теперь объедините эти сегменты в массив, который распределяется первой размерностью (строки). Массив теперь 16 250, с 4 250 сегмент, находящийся на каждом рабочем:

spmd
  D = codistributed.build(A, codistributor1d(1,[4 4 4 4],[16 250]))
end
Worker 1: 
    This worker stores D(1:4,:).
           LocalPart: [4x250 double]
      Codistributor: [1x1 codistributor1d]

whos   
Name       Size             Bytes  Class          Attributes

A          1x4                489  Composite                
D         16x250            32000  distributed 

Вы могли также использовать реплицированные массивы тем же способом, если бы вы хотели создать codistributed массив, сегменты которого были все идентичны, чтобы запуститься с. Смотрите codistributed страница ссылки на функцию для синтаксиса и информации об использовании.

Используя функции конструктора MATLAB

MATLAB обеспечивает несколько функций конструктора Array, которые можно использовать, чтобы создать codistributed массивы определенных значений, размеров и классов. Эти функции действуют таким же образом в качестве своих нераспределенных дубликатов на языке MATLAB, за исключением того, что они распределяют результирующий массив на рабочих, использующих заданный объект codistributor, codist.

Функции конструктора.  codistributed функции конструктора перечислены здесь. Используйте codist аргумент (созданный codistributor функция: codist=codistributor()) задавать по который размерность распределить массив. Смотрите отдельные страницы с описанием для этих функций для дальнейшего синтаксиса и информации об использовании.

eye(___,codist)
false(___,codist)
Inf(___,codist)
NaN(___,codist)
ones(___,codist)
rand(___,codist)
randi(___,codist)
randn(___,codist)
true(___,codist)
zeros(___,codist)

codistributed.cell(m,n,...,codist)
codistributed.colon(a,d,b)
codistributed.linspace(m,n,...,codist)
codistributed.logspace(m,n,...,codist)
sparse(m,n,codist)
codistributed.speye(m,...,codist)
codistributed.sprand(m,n,density,codist)
codistributed.sprandn(m,n,density,codist)

Создание локальных массивов от массива Codistributed

getLocalPart функционируйте копирует сегменты codistributed массива к отдельному различному массиву. Этот пример делает локальную копию L из каждого сегмента codistributed массива D. Размер L показывает, что это содержит только локальную часть D для каждого рабочего. Предположим, что вы распределяете массив на четырех рабочих:

spmd(4)
    A = [1:80; 81:160; 161:240];
    D = codistributed(A);
    size(D)
       L = getLocalPart(D);
    size(L)
end

возвращается на каждом рабочем:

3    80
3    20

Каждый рабочий распознает что codistributed массив D 3 80. Однако заметьте что размер локальной части, L, находится 3 20 на каждом рабочем, потому что 80 столбцов D распределяются по четырем рабочим.

Создание Codistributed от локальных массивов

Используйте codistributed.build функция, чтобы выполнить противоположную операцию. Эта функция, описанная в Создании от Меньших массивов, комбинирует локальные различные массивы в единый массив, распределенный в заданном измерении.

При продолжении предыдущего примера возьмите локальные различные массивы L и соединенный их как сегменты, чтобы создать новый codistributed массив X.

spmd
  codist = codistributor1d(2,[20 20 20 20],[3 80]);
  X = codistributed.build(L,codist);
  size(X)
end

возвращается на каждом рабочем:

3    80

Определение, является ли массив Codistributed

iscodistributed функция возвращает логический 1 TRUE) если входной массив является codistributed и логическим 0 ложь) в противном случае. Синтаксис

spmd, TF = iscodistributed(D), end

где D любой массив MATLAB.

Определение размерности распределения

Объект codistributor определяет, как массив разделен и его размерность распределения. Чтобы получить доступ к codistributor массива, используйте getCodistributor функция. Это возвращает два свойства, Dimension и Partition:

spmd, getCodistributor(X), end

     Dimension: 2
     Partition: [20 20 20 20]

Dimension значение 2 означает массив X распределяется столбцами (размерность 2); и Partition значение [20 20 20 20] средние значения, что двадцать столбцов находятся на каждом из этих четырех рабочих.

Чтобы получить эти свойства программно, возвратите выходной параметр getCodistributor к переменной затем используйте запись через точку, чтобы получить доступ к каждому свойству:

spmd
    C = getCodistributor(X);
    part = C.Partition
    dim  = C.Dimension
end

Другие функции массива

Другие функции, которые предоставляют информацию о стандартных массивах также, работают над codistributed массивами и используют тот же синтаксис.

Пример: найдите конкретный элемент в массиве Codistributed

Предположим, что у вас есть вектор-строка из 1 миллиона элементов, распределенных среди нескольких рабочих, и вы хотите определить местоположение его элемента номер 225,000. Таким образом, вы хотите знать, какой рабочий содержит этот элемент, и в какой положение в локальной части вектора на том рабочем. globalIndices функция обеспечивает корреляцию между локальной и глобальной индексацией codistributed массива.

D = rand(1,1e6,"distributed"); %Distributed by columns
spmd
    globalInd = globalIndices(D,2);
    pos = find(globalInd == 225e3);
    if ~isempty(pos)
      fprintf(...
      'Element is in position %d on worker %d.\n', pos, labindex);
    end
end

Если при запуске этот код по пулу четырех рабочих, вы получаете этот результат:

Worker 1: 
  Element is in position 225000 on worker 1.

Если при запуске этот код по пулу пяти рабочих, вы получаете этот результат:

Worker 2: 
  Element is in position 25000 on worker 2.

Заметьте, используете ли вы пул различного размера, элемент заканчивается в другом месте на различном рабочем, но тот же код может использоваться, чтобы определить местоположение элемента.