Документация

Причины внедрения пользовательских алгоритмов

Большинство распространенных математических функций и операций MATLAB уже поддерживают массивы tall. Если функциональность уже поддерживается, то написание собственного алгоритма может не потребоваться.

Вот несколько причин, по которым может потребоваться реализовать пользовательский алгоритм для массивов tall:

Поддерживаемые API

Поддерживаемые API предназначены для расширенного использования и не включают расширенную проверку входных данных. Ожидайте потратить некоторое время на тестирование, чтобы реализованные дополнительные функции удовлетворяли всем требованиям и выполняли ожидаемые вычисления. Ниже перечислены поддерживаемые в настоящее время API для разработки алгоритмов массива высокого уровня.

Фон: Блоки массива высокого уровня

При создании массива высокого уровня из хранилища данных нижележащее хранилище данных облегчает перемещение данных во время вычисления. Данные перемещаются в дискретных фрагментах, называемых блоками, где каждый блок представляет собой набор последовательных строк, которые могут поместиться в памяти. Например, один блок массива 2-D (например, таблица) X(n:m,:). Размер каждого блока основан на значении ReadSize свойство хранилища данных, но блок не всегда имеет такой точный размер. Для целей разработки алгоритмов высокого массива считается, что высокий массив является вертикальной конкатенацией многих таких блоков.

Блоки данного массива выбираются во время выполнения на основе доступной памяти, поэтому они могут быть динамическими. Следовательно, блоки могут иметь не совсем одинаковый размер между ветвями. Если на компьютере есть изменения, влияющие на доступную память, это может повлиять на размер блоков.

Хотя эта страница относится только к блокам и строкам в 2-D смысле, эти понятия распространяются на N-D массивы. Размер блока ограничен только в первом размере, поэтому блок включает все элементы в других размерах; например, X(n:m,:,:,...). Кроме того, вместо строк N-D массивы имеют фрагменты, такие как X(p,:,:,...).

Одношаговая операция преобразования

matlab.tall.transform функция применяет одну функцию к каждому блоку массива высокого уровня, поэтому ее можно использовать для применения блочного преобразования, фильтрации или сокращения данных. Например, можно удалить строки с определенными значениями, выполнить центрирование и масштабирование данных или определить определенные условия и преобразовать определенные части данных. Эти рисунки показывают, что происходит с блоками в массиве, когда они обрабатываются matlab.tall.transform.

[tA, tB, tC, ...] = matlab.tall.transform(fcn, tX, tY, tZ, ...)

[a, b, c, ...] = fcn(x, y, z, ...)

Двухшаговая операция уменьшения

matlab.tall.reduce применяет две функции к высокому массиву, при этом результат первого этапа подается в качестве входных данных на заключительный этап уменьшения. Функция уменьшения применяется неоднократно к промежуточным результатам до тех пор, пока не будет получен единственный конечный блок, который умещается в памяти. В парадигме MapReduce этот процесс аналогичен операции MapReduce с одним ключом, где промежуточные результаты имеют один и тот же ключ и объединяются на этапе сокращения.

Первый шаг аналогичен matlab.tall.transform и имеет те же требования. Однако этап уменьшения всегда сводит промежуточные результаты к одному блоку, который помещается в память. Эти рисунки показывают, что происходит с блоками в массиве, когда они обрабатываются matlab.tall.reduce.

[rA, rB, rC, ...] = matlab.tall.reduce(fcn, reducefcn, tX, tY, tZ, ...)

[a, b, c, ...] = fcn(x, y, z, ...)

[rA, rB, rC, ...] = reducefcn(a, b, c, ...)

[rA, rB, rC, ...] = reducefcn(a, b, c, ...)

Операции со скользящим окном

matlab.tall.movingWindow и matlab.tall.blockMovingWindow функции применяют функцию к окнам данных в массиве высокого уровня. В то время как matlab.tall.transform и matlab.tall.reduce оперировать целыми блоками данных одновременно, функции движущегося окна оперировать окнами данных по мере перемещения окна от начала к концу массива. Окна могут располагаться между блоками данных, считываемых с диска.

Эти рисунки показывают, что происходит с блоками в массиве, когда они обрабатываются matlab.tall.movingWindow или matlab.tall.blockMovingWindow.

Вы можете использовать matlab.tall.movingWindow и matlab.tall.blockMovingWindow для применения к данным преобразований или фильтров с окнами. Например, можно вычислить конечное среднее или скользящую медиану или применить к одному окну сразу несколько операций. Эти две функции различаются следующим образом:

[tA, tB, tC, ...] = matlab.tall.movingWindow(fcn, window, tX, tY, tZ, ...)

[a, b, c, ...] = fcn(x, y, z, ...)

[tA, tB, tC, ...] = matlab.tall.blockMovingWindow(windowfcn, blockfcn, window, tX, tY, tZ, ...)

[a, b, c, ...] = windowfcn(info, x, y, z, ...)
[a, b, c, ...] = blockfcn(info, bX, bY, bZ, ...)

[a, b, c, ...] = windowfcn(info, x, y, ...)

[a, b, c, ...] = blockfcn(info, bX, bY, bZ, ...)

Тип выходных данных управления

Если конечный вывод любого из поддерживаемых API имеет тип данных, отличный от входного, необходимо указать 'OutputsLike' пара имя-значение, чтобы предоставить один или несколько массивов прототипов, которые имеют те же тип данных и атрибуты, что и соответствующие выходы. Значение 'OutputsLike' всегда является массивом ячеек, причем каждая ячейка содержит массив прототипа для соответствующего выходного аргумента.

Например, этот вызов matlab.tall.transform принимает один высокий массив tX в качестве входа и возвращает два выхода с различными типами, определенными массивами прототипов protoA и protoB. Продукция A имеет тот же тип данных и атрибуты, что и protoA, и аналогично для B и protoB.

C = {protoA protoB};
[A, B] = matlab.tall.transform(fcn, tX, 'OutputsLike', C)

Обычным способом поставки прототипов массивов является вызов fcn с тривиальными входами надлежащего типа данных, так как выходы возвращены fcn имеют правильный тип данных. В этом примере функция преобразования принимает высокий двойник, но возвращает высокую таблицу. Массив прототипа создается путем вызова fcn(0) и прототип указан как значение 'OutputsLike'.

ds = tabularTextDatastore('airlinesmall.csv','TreatAsMissing','NA');
ds.SelectedVariableNames = {'ArrDelay', 'DepDelay'};
tt = tall(ds);
tX = tt.ArrDelay;

fcn = @(x) table(x,'VariableNames',{'MyVar'});
proto_A = fcn(0);
A = matlab.tall.transform(fcn,tX,'OutputsLike',{proto_A});

Советы по кодированию и производительности