Документация

Ввод функций со случайными или часто изменяющимися значениями

Необходимо соблюдать осторожность при ускорении функций, которые принимают случайные или часто изменяющиеся значения в качестве входных данных, например функции градиентов модели, которая принимает случайные шумы в качестве входных данных и добавляет их к входным данным. Если какие-либо случайные или часто изменяющиеся входы ускоренной функции не являются dlarray затем функция запускает новую трассировку для каждого ранее невидимого значения.

Можно проверить такие сценарии, проверив Occupancy и HitRate свойства AcceleratedFunction объект. Если Occupancy свойство высокое, и HitRate является низким, то это может указывать, что AcceleratedFunction создает много новых трассировок, которые не используются повторно.

Для dlarray ввод объекта, изменение значения, чтобы не запускать новые трассировки. Чтобы часто изменяющиеся входные данные не запускали новые трассировки для каждой оценки, выполните рефакторинг кода таким образом, чтобы случайные входные данные были dlarray входные данные.

Например, рассмотрим функцию градиентов модели, которая принимает случайный массив значений шума:

function [gradients,state,loss] = modelGradients(parameters,dlX,dlT,state,noise)

dlX = dlX + noise;
[dlYPred,state] = model(parameters,dlX,state);
loss = crossentropy(dlYPred,dlT);
gradients = dlgradient(loss,parameters);

end

Чтобы ускорить функцию градиентов модели, преобразуйте входные данные. noise кому dlarray перед оценкой ускоренной функции. Потому что modelGradients функция также поддерживает dlarray ввод для шума, внесение изменений в функцию не требуется.

noise = dlarray(noise,'SSCB');
accfun = dlaccelerate(@modelGradients);
[gradients,state,loss] = dlfeval(accfun,parameters,dlX,dlT,state,noise);

Кроме того, можно ускорить части функции градиентов модели, которые не требуют случайного ввода.

Функции с генерацией случайных чисел

Необходимо соблюдать осторожность при ускорении функций, использующих генерацию случайных чисел, таких как функция градиентов модели, которая генерирует случайный шум для добавления к сетевому входу. При кэшировании трассировки функции, генерирующей случайные числа, которые не являются dlarray объекты, ускоренная функция кэширует результирующие случайные числа в трассировке. При повторном использовании трассировки ускоренная функция использует кэшированные случайные значения. Ускоренная функция не генерирует новые случайные значения.

Генерация случайных чисел с использованием 'like' вариант rand функция с dlarray объект поддерживает ускорение. Чтобы использовать генерацию случайных чисел в ускоренной функции, убедитесь, что функция использует rand функции с помощью 'like' значение параметра равно отслеживаемому dlarray объект (a dlarray объект, зависящий от ввода dlarray объект).

Например, рассмотрим следующую функцию градиентов модели.

[gradients,state,loss] = modelGradients(parameters,dlX,dlT,state)

sz = size(dlX);
noise = rand(sz);
dlX = dlX + noise;

[dlYPred,state] = model(parameters,dlX,state);
loss = crossentropy(dlYPred,dlT);
gradients = dlgradient(loss,parameters);

end

Чтобы убедиться, что rand генерирует новое значение для каждого анализа, используйте 'like' опция с отслеживаемым dlarray объект dlX.

[gradients,state,loss] = modelGradients(parameters,dlX,dlT,state)

sz = size(dlX);
noise = rand(sz,'like',dlX);
dlX = dlX + noise;

[dlYPred,state] = model(parameters,dlX);
loss = crossentropy(dlYPred,dlT);
gradients = dlgradient(loss,parameters);

end

Кроме того, можно ускорить части функции градиентов модели, которые не требуют генерации случайных чисел.

Используя if Заявления и while Петли

Вы должны быть осторожны при ускорении функций, которые используют if заявления и while петли. В частности, if заявления и while циклы поддерживают ускорение только тогда, когда условия не зависят от значений dlarray объекты.

Попытка ускорить выполнение функций, имеющих if заявления и while петли с условиями, зависящими от dlarray значения могут привести к неожиданному поведению. Когда ускоренная функция кэширует новую трассировку, если трассировка содержит if заявление или while условие цикла, которое зависит от значения dlarray , то функция кэширует трассировку результирующего кодового пути, заданного if заявление или while цикл для этого значения. Потому что изменения в значении dlarray input не запускают новую трассировку, при повторном использовании трассировки функция использует ту же кэшированную трассировку (которая представляет тот же кодовый путь), даже если разница в значении может привести к другому кодовому пути.

Использовать if заявления и while петли, которые зависят от dlarray значения объектов, ускорение тела if заявление или while только цикл.

Функциональные входы, зависящие от дескрипторов

Необходимо соблюдать осторожность при ускорении функций, которые принимают объекты, зависящие от дескрипторов, в качестве входных данных, таких как minibatchqueue объект, имеющий функцию предварительной обработки, заданную как дескриптор функции. AcceleratedFunction объект выдает ошибку при вычислении функции с входами в зависимости от дескрипторов.

Вместо этого можно ускорить части функции градиентов модели, для которых не требуются входные данные, зависящие от маркеров.

Отладка

При отладке ускоренных функций необходимо соблюдать осторожность. Кэшированные трассировки не поддерживают точки разрыва. При использовании ускоренных функций программа достигает точек разрыва в базовой функции только в процессе трассировки.

Чтобы отладить код в базовой функции с помощью точек останова, отключите ускорение, установив Enabled свойство для false.

Чтобы отладить кэшированные трассировки, можно сравнить выходы ускоренных функций с выходами базовой функции, установив CheckMode свойство для 'tolerance'.