Документация

Как MATLAB отображает массив Codistributed

Для каждого рабочего Командное окно Параллели MATLAB отображает информацию о codistributed массиве, локальном фрагменте и codistributor. Например, 8 8 единичная матрица codistributed среди четырех рабочих, с двумя столбцами на каждом рабочем, отображается как это:

>> spmd
II = eye(8,'codistributed')
end
Lab 1: 
  This lab stores II(:,1:2).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]
Lab 2: 
  This lab stores II(:,3:4).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]
Lab 3: 
  This lab stores II(:,5:6).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]
Lab 4: 
  This lab stores II(:,7:8).
          LocalPart: [8x2 double]
      Codistributor: [1x1 codistributor1d]

Чтобы видеть фактические данные в локальном сегменте массива, используйте функцию getLocalPart.

Сколько распределяется каждому рабочему

В распределении массива строк N, если N является равномерно делимым количеством рабочих, MATLAB хранит одинаковое число строк (N/numlabs) на каждом рабочем. Когда этот номер не является равномерно делимым количеством рабочих, MATLAB делит массив максимально равномерно.

MATLAB обеспечивает codistributor свойства объектов под названием Dimension и Partition, который можно использовать, чтобы определить точное распределение массива. Смотрите Индексацию в Массив Codistributed для получения дополнительной информации об индексации с codistributed массивами.

Распределение других типов данных

Можно распределить массивы любого MATLAB встроенный тип данных, и также числовые массивы, которые являются комплексными или разреженными, но не массивы указателей на функцию или типов объектов.

Разделение большего массива

Если у вас уже есть большой массив в памяти, что вы хотите MATLAB к процессу более быстро, можно разделить его в меньшие сегменты и распределить эти сегменты всем рабочим, использующим функцию codistributed. У каждого рабочего затем есть массив, который является частью размер оригинала, таким образом уменьшая время, требуемое получить доступ к данным, которые локальны для каждого рабочего.

Как простой пример, следующая строка кода создает 4 8 реплицированную матрицу на каждом рабочем, присвоенном переменной A:

spmd, A = [11:18; 21:28; 31:38; 41:48], end
A =
    11    12    13    14    15    16    17    18
    21    22    23    24    25    26    27    28
    31    32    33    34    35    36    37    38
    41    42    43    44    45    46    47    48

Следующая строка использует функцию codistributed, чтобы создать сингл 4 8 матричный D, который распределяется вдоль второго измерения массива:

spmd
    D = codistributed(A);
    getLocalPart(D)
end

1: Local Part  | 2: Local Part  | 3: Local Part  | 4: Local Part
    11    12   |     13    14   |     15    16   |     17    18
    21    22   |     23    24   |     25    26   |     27    28
    31    32   |     33    34   |     35    36   |     37    38
    41    42   |     43    44   |     45    46   |     47    48

Массивы A и D одного размера (4 8). A массивов существует в своем полном размере на каждом рабочем, в то время как только сегмент массива D существует на каждом рабочем.

spmd, size(A), size(D), end

Исследуя переменные в клиентской рабочей области, массив, который является codistributed среди рабочих в операторе spmd, является распределенным массивом с точки зрения клиента вне оператора spmd. Переменными, которые не являются codistributed в spmd, являются Составные объекты в клиенте вне spmd.

whos
  Name      Size            Bytes  Class 

  A         1x4               613  Composite
  D         4x8               649  distributed

Смотрите страницу ссылки на функцию codistributed для получения информации об использовании и синтаксиса.

Создание от меньших массивов

Функция codistributed менее полезна для сокращения объема памяти, требуемого хранить данные, когда вы сначала создаете полный массив в одной рабочей области и затем делите его в распределенные сегменты. Чтобы экономить на памяти, можно создать мелкие кусочки (локальная часть) на каждом рабочем сначала, и затем использовать codistributed.build, чтобы объединить их в единый массив, который распределяется на рабочих.

Этот пример создает 4 250 различный массив на каждом из четырех рабочих и затем использует codistributor, чтобы распределить эти сегменты на четырех рабочих, создавая 4 1000 codistributed массив. Вот различный массив, A:

spmd
  A = [1:250; 251:500; 501:750; 751:1000] + 250 * (labindex - 1);
end

    WORKER 1             WORKER 2             WORKER 3
  1    2 ... 250 |  251   252 ... 500 |  501   502 ... 750 | etc.
251  252 ... 500 |  501   502 ... 750 |  751   752 ...1000 | etc.
501  502 ... 750 |  751   752 ...1000 | 1001  1002 ...1250 | etc.
751  752 ...1000 | 1001  1002 ...1250 | 1251  1252 ...1500 | etc.
                 |                    |                    |

Теперь объедините эти сегменты в массив, который распределяется первой размерностью (строки). Массив теперь 16 250, с 4 250 сегмент, находящийся на каждом рабочем:

spmd
  D = codistributed.build(A, codistributor1d(1,[4 4 4 4],[16 250]))
end
Lab 1: 
    This lab stores D(1:4,:).
           LocalPart: [4x250 double]
      Codistributor: [1x1 codistributor1d]

whos
  Name       Size             Bytes  Class

  A          1x4                613  Composite
  D         16x250              649  distributed

Вы могли также использовать реплицированные массивы тем же способом, если бы вы хотели создать codistributed массив, сегменты которого были все идентичны, чтобы запуститься с. Смотрите страницу ссылки на функцию codistributed для получения информации об использовании и синтаксиса.

Используя функции конструктора MATLAB

MATLAB обеспечивает несколько функций конструктора Array, которые можно использовать, чтобы создать codistributed массивы определенных значений, размеров и классов. Эти функции действуют таким же образом в качестве своих нераспределенных дубликатов на языке MATLAB, за исключением того, что они распределяют результирующий массив на рабочих, использующих заданный объект codistributor, codist.

Функции конструктора.  codistributed функции конструктора перечислены здесь. Используйте аргумент codist (созданный функцией codistributor: codist=codistributor()), чтобы задать, по который размерность распределить массив. Смотрите отдельные страницы с описанием для этих функций для дальнейшего синтаксиса и информации об использовании.

eye(___,codist)
false(___,codist)
Inf(___,codist)
NaN(___,codist)
ones(___,codist)
rand(___,codist)
randi(___,codist)
randn(___,codist)
true(___,codist)
zeros(___,codist)

codistributed.cell(m,n,...,codist)
codistributed.colon(a,d,b)
codistributed.linspace(m,n,...,codist)
codistributed.logspace(m,n,...,codist)
sparse(m,n,codist)
codistributed.speye(m,...,codist)
codistributed.sprand(m,n,density,codist)
codistributed.sprandn(m,n,density,codist)

Создание локальных массивов от массива Codistributed

Функция getLocalPart копирует сегменты codistributed массива к отдельному различному массиву. Этот пример делает локальную копию L каждого сегмента codistributed массива D. Размер L показывает, что это содержит только локальную часть D для каждого рабочего. Предположим, что вы распределяете массив на четырех рабочих:

spmd(4)
    A = [1:80; 81:160; 161:240];
    D = codistributed(A);
    size(D)
       L = getLocalPart(D);
    size(L)
end

возвращается на каждом рабочем:

3    80
3    20

Каждый рабочий распознает, что codistributed массив D 3 80. Однако заметьте, что размер локальной части, L, находится 3 20 на каждом рабочем, потому что 80 столбцов D распределяются по четырем рабочим.

Создание Codistributed от локальных массивов

Используйте функцию codistributed.build, чтобы выполнить противоположную операцию. Эта функция, описанная в Создании от Меньших массивов, комбинирует локальные различные массивы в единый массив, распределенный в заданном измерении.

При продолжении предыдущего примера возьмите локальные различные массивы L и соедините их как сегменты, чтобы создать новый codistributed массив X.

spmd
  codist = codistributor1d(2,[20 20 20 20],[3 80]);
  X = codistributed.build(L,codist);
  size(X)
end

возвращается на каждом рабочем:

3    80

Определение, является ли массив Codistributed

Функция iscodistributed возвращает логический 1 (true), если входной массив является codistributed и логическим 0 (false) в противном случае. Синтаксис

spmd, TF = iscodistributed(D), end

где D является любым массивом MATLAB.

Определение размерности распределения

Объект codistributor определяет, как массив разделен и его размерность распределения. Чтобы получить доступ к codistributor массива, используйте функцию getCodistributor. Это возвращает два свойства, Dimension и Partition:

spmd, getCodistributor(X), end

     Dimension: 2
     Partition: [20 20 20 20]

Значение Dimension 2 означает массив, X распределяется столбцами (размерность 2); и значение Partition [20 20 20 20] означает, что двадцать столбцов находятся на каждом из этих четырех рабочих.

Чтобы получить эти свойства программно, возвратите выходной параметр getCodistributor к переменной, затем используйте запись через точку, чтобы получить доступ к каждому свойству:

spmd
    C = getCodistributor(X);
    part = C.Partition
    dim  = C.Dimension
end

Другие функции массива

Другие функции, которые предоставляют информацию о стандартных массивах также, работают над codistributed массивами и используют тот же синтаксис.

Пример: найдите конкретный элемент в массиве Codistributed

Предположим, что у вас есть вектор - строка из 1 миллиона элементов, распределенных среди нескольких рабочих, и вы хотите определить местоположение его элемента номер 225,000. Таким образом, вы хотите знать, какой рабочий содержит этот элемент, и в какой положение в локальной части вектора на том рабочем. Функция globalIndices обеспечивает корреляцию между локальной и глобальной индексацией codistributed массива.

D = rand(1,1e6,'distributed'); %Distributed by columns
spmd
    globalInd = globalIndices(D,2);
    pos = find(globalInd == 225e3);
    if ~isempty(pos)
      fprintf(...
      'Element is in position %d on worker %d.\n', pos, labindex);
    end
end

Если при запуске этот код по пулу четырех рабочих, вы получаете этот результат:

Lab 1: 
  Element is in position 225000 on worker 1.

Если при запуске этот код по пулу пяти рабочих, вы получаете этот результат:

Lab 2: 
  Element is in position 25000 on worker 2.

Заметьте, используете ли вы пул различного размера, элемент заканчивается в другом месте на различном рабочем, но тот же код может использоваться, чтобы определить местоположение элемента.