Оцените модель глубокого обучения для пользовательских циклов обучения
Использовать dlfeval для оценки пользовательских моделей глубокого обучения для пользовательских циклов обучения.
Совет
Для большинства задач глубокого обучения можно использовать предварительно обученную сеть и адаптировать ее к собственным данным. Для примера, показывающего, как использовать передачу обучения для переобучения сверточной нейронной сети для классификации нового набора изображений, смотрите Train Нейронной сети для глубокого обучения для классификации новых изображений. Также можно создавать и обучать сети с нуля, используя layerGraph объекты с trainNetwork и trainingOptions функций.
Если trainingOptions функция не предоставляет опций обучения, которые вам нужны для вашей задачи, тогда можно создать пользовательский цикл обучения с помощью автоматической дифференциации. Дополнительные сведения см. в разделе «Определение нейронной сети для глубокого обучения для пользовательских циклов обучения».
Функция Розенбрка является стандартной тестовой функцией для оптимизации. The rosenbrock.m вспомогательная функция вычисляет значение функции и использует автоматическую дифференциацию, чтобы вычислить ее градиент.
type rosenbrock.mfunction [y,dydx] = rosenbrock(x) y = 100*(x(2) - x(1).^2).^2 + (1 - x(1)).^2; dydx = dlgradient(y,x); end
Чтобы оценить функцию Розенбрка и ее градиент в точке [–1,2], создать dlarray точки и затем вызов dlfeval на указателе на функцию @rosenbrock.
x0 = dlarray([-1,2]); [fval,gradval] = dlfeval(@rosenbrock,x0)
fval = 1x1 dlarray 104
gradval = 1x2 dlarray 396 200
В качестве альтернативы задайте функцию Розенбрка как функцию от двух входов, x1 и x 2.
type rosenbrock2.mfunction [y,dydx1,dydx2] = rosenbrock2(x1,x2) y = 100*(x2 - x1.^2).^2 + (1 - x1).^2; [dydx1,dydx2] = dlgradient(y,x1,x2); end
Функции dlfeval для оценки rosenbrock2 на двух dlarray аргументы, представляющие входы –1 и 2.
x1 = dlarray(-1); x2 = dlarray(2); [fval,dydx1,dydx2] = dlfeval(@rosenbrock2,x1,x2)
fval = 1x1 dlarray 104
dydx1 = 1x1 dlarray 396
dydx2 = 1x1 dlarray 200
Постройте график градиента Розенбрка функции для нескольких точек в модуль квадрате. Во-первых, инициализируйте массивы, представляющие точки оценки и выход функции.
[X1 X2] = meshgrid(linspace(0,1,10)); X1 = dlarray(X1(:)); X2 = dlarray(X2(:)); Y = dlarray(zeros(size(X1))); DYDX1 = Y; DYDX2 = Y;
Оцените функцию в цикле. Постройте график результата с помощью quiver.
for i = 1:length(X1) [Y(i),DYDX1(i),DYDX2(i)] = dlfeval(@rosenbrock2,X1(i),X2(i)); end quiver(extractdata(X1),extractdata(X2),extractdata(DYDX1),extractdata(DYDX2)) xlabel('x1') ylabel('x2')
A dlgradient вызов должен быть внутри функции. Чтобы получить числовое значение градиента, вы должны вычислить функцию используя dlfeval, и аргументом функции должен быть dlarray. См. Использование автоматической дифференциации в Deep Learning Toolbox.
Чтобы включить правильную оценку градиентов, функция fun должны использовать только поддерживаемые функции для dlarray. Смотрите Список функций с поддержкой dlarray.