Документация

Причины реализации пользовательских алгоритмов

Наиболее распространенные математические функции и операции MATLAB уже поддерживают длинные массивы. Если функциональность уже поддерживается, запись собственного алгоритма может оказаться ненужной.

Вот некоторые причины, по которым вы можете захотеть реализовать пользовательский алгоритм для длинные массивы:

Поддерживаемые API

Поддерживаемые API предназначены для расширенного использования и не включают обширную проверку входных параметров. Рассчитывайте потратить некоторое время на тестирование, чтобы дополнительные функции, которые вы реализуете, удовлетворяли всем требованиям и выполняли ожидаемые расчеты. Здесь перечислены поддерживаемые в настоящее время API для разработки алгоритмов длинный массив.

Фон: Блоки Длинный массив

Когда вы создаете длинный массив из datastore, базовый datastore облегчает перемещение данных во время вычисления. Данные перемещаются дискретными частями, называемыми блоками, где каждый блок является набором последовательных строк, которые могут помещаться в памяти. Например, один блок 2-D массива (такого как таблица) X(n:m,:). Размер каждого блока основан на значении ReadSize свойство datastore, но блок не всегда является таким точным размером. В целях разработки алгоритмов длинный массив, длинный массив рассматривается как вертикальная конкатенация многих таких блоков.

Блоки данного массива выбираются во время выполнения на основе доступной памяти, поэтому они могут быть динамическими. Поэтому блоки могут быть не совсем одинакового размера между запусками. Если на компьютере есть изменения, которые влияют на доступную память, это может повлиять на размер блоков.

Хотя эта страница ссылается только на блоки и строки в 2-D смысле, эти концепции распространяются на N-D длинные массивы. Размер блока ограничен только в первой размерности, поэтому блок включает все элементы в других размерностях; для примера, X(n:m,:,:,...). Кроме того, вместо строк N-D- массивов имеют такие срезы, как X(p,:,:,...).

Одношаговая операция преобразования

matlab.tall.transform функция применяет одну функцию к каждому блоку длинный массив, поэтому можно использовать ее для применения блочного преобразования, фильтрации или сокращения данных. Например, можно удалить строки с определенными значениями, центрировать и масштабировать данные или обнаружить определенные обстоятельства и преобразовать определенные части данных. Эти рисунки показывают, что происходит с блоками в массиве, когда они управляются matlab.tall.transform.

[tA, tB, tC, ...] = matlab.tall.transform(fcn, tX, tY, tZ, ...)

[a, b, c, ...] = fcn(x, y, z, ...)

Двухэтапная операция сокращения

matlab.tall.reduce применяет две функции к длинный массив, в результате чего первый шаг подается как вход на конечный шаг сокращения. Функция сокращения применяется неоднократно к промежуточным результатам до тех пор, пока не будет получен один конечный блок, который помещается в памяти. В парадигме MapReduce этот процесс похож на операцию «одного ключа» MapReduce, где промежуточные результаты все имеют один и тот же ключ и объединяются в шаге сокращения.

Первый шаг аналогичен matlab.tall.transform и имеет те же требования. Однако шаг сокращения всегда уменьшает промежуточные результаты до одного блока, который помещается в памяти. Эти рисунки показывают, что происходит с блоками в массиве, когда они управляются matlab.tall.reduce.

[rA, rB, rC, ...] = matlab.tall.reduce(fcn, reducefcn, tX, tY, tZ, ...)

[a, b, c, ...] = fcn(x, y, z, ...)

[rA, rB, rC, ...] = reducefcn(a, b, c, ...)

[rA, rB, rC, ...] = reducefcn(a, b, c, ...)

Операции скользящего окна

matlab.tall.movingWindow и matlab.tall.blockMovingWindow функции применяют функцию к окнам данных в длинный массив. В то время как matlab.tall.transform и matlab.tall.reduce работать с целыми блоками данных за раз, функции скользящего окна работают с окнами данных, когда окно переходит от начала к концу массива. Окна могут находиться между блоками данных, считываемых с диска.

Эти рисунки показывают, что происходит с блоками в массиве, когда они управляются matlab.tall.movingWindow или matlab.tall.blockMovingWindow.

Вы можете использовать matlab.tall.movingWindow и matlab.tall.blockMovingWindow для применения оконных преобразований или фильтров к данным. Например, вы можете вычислить конечное среднее значение или скользящую медиану, или можно применить несколько операций сразу к тому же окну. Эти две функции различаются этими способами:

[tA, tB, tC, ...] = matlab.tall.movingWindow(fcn, window, tX, tY, tZ, ...)

[a, b, c, ...] = fcn(x, y, z, ...)

[tA, tB, tC, ...] = matlab.tall.blockMovingWindow(windowfcn, blockfcn, window, tX, tY, tZ, ...)

[a, b, c, ...] = windowfcn(info, x, y, z, ...)
[a, b, c, ...] = blockfcn(info, bX, bY, bZ, ...)

[a, b, c, ...] = windowfcn(info, x, y, ...)

[a, b, c, ...] = blockfcn(info, bX, bY, bZ, ...)

Управляйте выходом данных

Если окончательный выход от любого из поддерживаемых API имеет различные типы данных от входных, то вы должны задать 'OutputsLike' пара "имя-значение", чтобы предоставить один или несколько прототипные массивы, которые имеют совпадающий тип данных и атрибуты, что и соответствующие выходы. Значение 'OutputsLike' всегда является массивом ячеек, причем каждая камера содержит прототипный массив для соответствующего выходного аргумента.

Для примера этот вызов на matlab.tall.transform принимает один длинный массив tX как вход и возвращает два выхода с различными типами, заданными прототипными массивами protoA и protoB. Выходные A имеет тот совпадающий тип данных и атрибуты, что и protoA, и аналогично для B и protoB.

C = {protoA protoB};
[A, B] = matlab.tall.transform(fcn, tX, 'OutputsLike', C)

Общим способом поставки прототипных массивов является вызов fcn с тривиальными входами соответствующего типа данных, поскольку выходы возвращаются fcn иметь правильный тип данных. В этом примере функция преобразования принимает tall double, но возвращает длинная таблица. При вызове функции прототипного массива генерируется fcn(0) и прототип задается как значение 'OutputsLike'.

ds = tabularTextDatastore('airlinesmall.csv','TreatAsMissing','NA');
ds.SelectedVariableNames = {'ArrDelay', 'DepDelay'};
tt = tall(ds);
tX = tt.ArrDelay;

fcn = @(x) table(x,'VariableNames',{'MyVar'});
proto_A = fcn(0);
A = matlab.tall.transform(fcn,tX,'OutputsLike',{proto_A});

Советы по кодированию и эффективности