dlgradient

Вычислите градиенты для пользовательских учебных циклов с помощью автоматического дифференцирования

свернуть все на странице

Синтаксис

[dydx1,...,dydxk] = dlgradient(y,x1,...,xk)
[dydx1,...,dydxk] = dlgradient(y,x1,...,xk,Name,Value)

Описание

Использование dlgradient вычислить производные с помощью автоматического дифференцирования для пользовательских учебных циклов.

Совет

Для большинства задач глубокого обучения можно использовать предварительно обученную сеть и адаптировать ее к собственным данным. Для примера, показывающего, как использовать передачу обучения, чтобы переобучить сверточную нейронную сеть, чтобы классифицировать новый набор изображений, смотрите, Обучают Нейронную сеть для глубокого обучения Классифицировать Новые Изображения. В качестве альтернативы можно создать и обучить нейронные сети с нуля с помощью layerGraph объекты с trainNetwork и trainingOptions функции.

Если trainingOptions функция не обеспечивает опции обучения, в которых вы нуждаетесь для своей задачи, затем можно создать пользовательский учебный цикл с помощью автоматического дифференцирования. Чтобы узнать больше, смотрите, Задают Нейронную сеть для глубокого обучения для Пользовательских Учебных Циклов.

пример

[dydx1,...,dydxk] = dlgradient(y,x1,...,xk) возвращает градиенты y относительно переменных x1 через xk.

Вызвать dlgradient из функции, переданной dlfeval. Смотрите вычисляют градиент Используя автоматическое дифференцирование и используют автоматическое дифференцирование в Deep Learning Toolbox.

[dydx1,...,dydxk] = dlgradient(y,x1,...,xk,Name,Value) возвращает градиенты и задает дополнительные опции с помощью одной или нескольких пар "имя-значение". Например, dydx = dlgradient(y,x,'RetainData',true) заставляет градиент сохранять промежуточные значения для повторного использования в последующем dlgradient вызовы. Этот синтаксис может сэкономить время, но использует больше памяти. Для получения дополнительной информации смотрите Советы.

Примеры

свернуть все

Скрипт Open Live Script

Функция Розенброка является стандартной тестовой функцией для оптимизации. rosenbrock.m функция помощника вычисляет значение функции и использует автоматическое дифференцирование, чтобы вычислить его градиент.

type rosenbrock.m
function [y,dydx] = rosenbrock(x)

y = 100*(x(2) - x(1).^2).^2 + (1 - x(1)).^2;
dydx = dlgradient(y,x);

end

Выполнять функцию Розенброка и ее градиент в точке [–1,2], создайте dlarray из точки и затем вызывают dlfeval на указателе на функцию @rosenbrock.

x0 = dlarray([-1,2]);
[fval,gradval] = dlfeval(@rosenbrock,x0)
fval = 
  1x1 dlarray

   104


gradval = 
  1x2 dlarray

   396   200

В качестве альтернативы задайте функцию Розенброка в зависимости от двух входных параметров, x1 и x2.

type rosenbrock2.m
function [y,dydx1,dydx2] = rosenbrock2(x1,x2)

y = 100*(x2 - x1.^2).^2 + (1 - x1).^2;
[dydx1,dydx2] = dlgradient(y,x1,x2);

end

Вызовите dlfeval оценивать rosenbrock2 на двух dlarray аргументы, представляющие входные параметры –1 и 2.

x1 = dlarray(-1);
x2 = dlarray(2);
[fval,dydx1,dydx2] = dlfeval(@rosenbrock2,x1,x2)
fval = 
  1x1 dlarray

   104


dydx1 = 
  1x1 dlarray

   396


dydx2 = 
  1x1 dlarray

   200

Постройте градиент функции Розенброка для нескольких точек в модульном квадрате. Во-первых, инициализируйте массивы, представляющие точки оценки и выход функции.

[X1 X2] = meshgrid(linspace(0,1,10));
X1 = dlarray(X1(:));
X2 = dlarray(X2(:));
Y = dlarray(zeros(size(X1)));
DYDX1 = Y;
DYDX2 = Y;

Выполните функцию в цикле. Постройте результат с помощью quiver.

for i = 1:length(X1)
    [Y(i),DYDX1(i),DYDX2(i)] = dlfeval(@rosenbrock2,X1(i),X2(i));
end
quiver(extractdata(X1),extractdata(X2),extractdata(DYDX1),extractdata(DYDX2))
xlabel('x1')
ylabel('x2')

Figure contains an axes. The axes contains an object of type quiver.

Входные параметры

свернуть все

Переменная, чтобы дифференцироваться в виде скалярного dlarray объект. Для дифференцирования, y должна быть прослеженная функция dlarray входные параметры (см. Прослеженный dlarray) и должны состоять из поддерживаемых функций для dlarray (см. Список Функций с Поддержкой dlarray).

Пример: 100*(x(2) - x(1).^2).^2 + (1 - x(1)).^2

Пример: relu(X)

Переменная в функции в виде dlarray объект, массив ячеек, структура или таблица, содержащая dlarray объекты или любая комбинация таких аргументов рекурсивно. Например, аргумент может быть массивом ячеек, содержащим массив ячеек, который содержит структуру, содержащую dlarray объекты.

Если вы задаете x1,...,xk как таблица, таблица должна содержать следующие переменные:

  • Layer — Имя слоя в виде строкового скаляра.

  • Parameter — Название параметра в виде строкового скаляра.

  • Value — Значение параметра в виде массива ячеек, содержащего dlarray.

Пример: dlarray([1 2;3 4])

Типы данных: single | double | logical | struct | cell

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: dydx = dlgradient(y,x,'RetainData',true) заставляет градиент сохранять промежуточные значения для повторного использования в последующем dlgradient вызовы

Отметьте, чтобы сохранить данные о трассировке во время вызова функции в виде false или true. Когда этим аргументом является false, dlarray сразу отбрасывает производную трассировку после вычисления производной. Когда этим аргументом является true, dlarray сохраняет производную трассировку до конца dlfeval вызов функции, который оценивает dlgradient. true установка полезна только когда dlfeval вызов содержит больше чем один dlgradient вызвать. true установка заставляет программное обеспечение использовать больше памяти, но может сэкономить время когда несколько dlgradient вызовы используют, по крайней мере, часть той же трассировки.

Когда 'EnableHigherDerivatives' true, затем промежуточные значения сохраняются и 'RetainData' опция не оказывает влияния.

Пример: dydx = dlgradient(y,x,'RetainData',true)

Типы данных: логический

Отметьте, чтобы включить производные высшего порядка в виде отдельной от запятой пары, состоящей из 'EnableHigherDerivatives' и одно из следующего:

  • true – Включите производные высшего порядка. Проследите обратный проход так, чтобы возвращенные градиенты и могли использоваться в дальнейших расчетах для последующих вызовов dlgradient функция. Если 'EnableHigherDerivatives' true, затем промежуточные значения сохраняются и 'RetainData' опция не оказывает влияния.

  • false – Отключите производные высшего порядка. Не прослеживайте обратный проход. Используйте эту опцию, когда необходимо вычислить производные первого порядка только, когда это обычно быстрее и требует меньшей памяти.

При использовании dlgradient функционируйте в AcceleratedFunction объект, значением по умолчанию является true. В противном случае значением по умолчанию является false.

Для примеров, показывающих, как обучить модели, которые требуют вычисления производных высшего порядка, см.:

Типы данных: логический

Выходные аргументы

свернуть все

Градиент, возвращенный как dlarray объект, или массив ячеек, структура или таблица, содержащая dlarray объекты или любая комбинация таких аргументов рекурсивно. Размер и тип данных dydx1,...,dydxk совпадают с теми из связанной входной переменной x1,…,xk.

Ограничения

  • dlgraident функция не поддерживает вычисление производных высшего порядка при использовании dlnetwork объекты, содержащие пользовательские слои с пользовательской обратной функцией.

  • dlgraident функция не поддерживает вычисление производных высшего порядка при использовании dlnetwork объекты, содержащие следующие слои:

    • gruLayer

    • lstmLayer

    • bilstmLayer

  • dlgradient функция не поддерживает вычисление производных высшего порядка, которые зависят от следующих функций:

    • gru

    • lstm

    • embed

    • prod

    • interp1

Больше о

свернуть все

Прослеженный dlarray

Во время расчета функции, dlarray внутренне записывает шаги, сделанные в trace, включая реверсному режиму автоматическое дифференцирование. Трассировка происходит в a dlfeval вызвать. Смотрите Автоматический Фон Дифференцирования.

Советы

  • A dlgradient вызов должен быть в функции. Чтобы получить числовое значение градиента, необходимо оценить функциональное использование dlfeval, и аргументом к функции должен быть dlarray. Смотрите использование автоматическое дифференцирование в Deep Learning Toolbox.

  • Включить правильную оценку градиентов, y аргумент должен использовать только поддерживаемые функции для dlarray. См. Список Функций с Поддержкой dlarray.

  • Если вы устанавливаете 'RetainData' аргумент пары "имя-значение" true, трассировка консервов программного обеспечения на время dlfeval вызов функции вместо того, чтобы сразу стереть трассировку после производного расчета. Это сохранение может вызвать последующее dlgradient вызовите в том же самом dlfeval вызовите, чтобы быть выполненными быстрее, но использует больше памяти. Например, в обучении соперничающей сети, 'RetainData' установка полезна, потому что эти две сети осуществляют обмен данными и функции во время обучения. Смотрите Обучают Порождающую соперничающую сеть (GAN).

  • Когда необходимо вычислить производные первого порядка только, гарантировать что 'EnableHigherDerivatives' опцией является false когда это обычно быстрее и требует меньшей памяти.

Смотрите также

|

Темы

Введенный в R2019b

Документация Deep Learning Toolbox

Поддержка

Для просмотра документации необходимо авторизоваться на сайте