Обновление параметров с помощью стохастического градиентного спуска с импульсом (SGDM)
Обновление сетевых обучаемых параметров в пользовательском учебном цикле с использованием алгоритма стохастического градиентного спуска с импульсом (SGDM).
Примечание
Эта функция применяет алгоритм оптимизации SGDM для обновления параметров сети в пользовательских контурах обучения, в которых используются сети, определенные как dlnetwork объекты или функции модели. При необходимости обучения сети, определенной как Layer массив или как LayerGraph, используйте следующие функции:
Создать TrainingOptionsSGDM с использованием trainingOptions функция.
Используйте TrainingOptionsSGDM объект с trainNetwork функция.
sgdmupdateВыполнение одного шага обновления SGDM с глобальной скоростью обучения 0.05 и импульс 0.95.
Создайте параметры и градиенты параметров в виде числовых массивов.
params = rand(3,3,4); grad = ones(3,3,4);
Инициализируйте скорости параметров для первой итерации.
vel = [];
Укажите пользовательские значения для глобальной скорости обучения и импульса.
learnRate = 0.05; momentum = 0.95;
Обновление обучаемых параметров с помощью sgdmupdate.
[params,vel] = sgdmupdate(params,grad,vel,learnRate,momentum);
sgdmupdateИспользовать sgdmupdate для обучения сети с использованием алгоритма SGDM.
Загрузка данных обучения
Загрузите данные обучения по цифрам.
[XTrain,YTrain] = digitTrain4DArrayData; classes = categories(YTrain); numClasses = numel(classes);
Определение сети
Определите сетевую архитектуру и укажите среднее значение изображения с помощью 'Mean' в слое ввода изображения.
layers = [
imageInputLayer([28 28 1], 'Name','input','Mean',mean(XTrain,4))
convolution2dLayer(5,20,'Name','conv1')
reluLayer('Name', 'relu1')
convolution2dLayer(3,20,'Padding',1,'Name','conv2')
reluLayer('Name','relu2')
convolution2dLayer(3,20,'Padding',1,'Name','conv3')
reluLayer('Name','relu3')
fullyConnectedLayer(numClasses,'Name','fc')
softmaxLayer('Name','softmax')];
lgraph = layerGraph(layers);Создать dlnetwork объект из графа слоев.
dlnet = dlnetwork(lgraph);
Определение функции градиентов модели
Создание вспомогательной функции modelGradients, перечисленных в конце примера. Функция принимает dlnetwork объект dlnet и мини-пакет входных данных dlX с соответствующими метками Yи возвращает потери и градиенты потерь относительно обучаемых параметров в dlnet.
Укажите параметры обучения
Укажите параметры для использования во время обучения.
miniBatchSize = 128; numEpochs = 20; numObservations = numel(YTrain); numIterationsPerEpoch = floor(numObservations./miniBatchSize);
Обучение на GPU, если он доступен. Для использования графического процессора требуется Toolbox™ параллельных вычислений и поддерживаемое устройство графического процессора. Сведения о поддерживаемых устройствах см. в разделе Поддержка графического процессора по выпуску (Parallel Computing Toolbox).
executionEnvironment = "auto";Визуализация хода обучения на графике.
plots = "training-progress";Железнодорожная сеть
Обучение модели с помощью пользовательского цикла обучения. Для каждой эпохи тасуйте данные и закольцовывайте мини-пакеты данных. Обновление параметров сети с помощью sgdmupdate функция. В конце каждой эпохи отобразите ход обучения.
Инициализируйте график хода обучения.
if plots == "training-progress" figure lineLossTrain = animatedline('Color',[0.85 0.325 0.098]); ylim([0 inf]) xlabel("Iteration") ylabel("Loss") grid on end
Инициализируйте параметр скорости.
vel = [];
Обучение сети.
iteration = 0; start = tic; for epoch = 1:numEpochs % Shuffle data. idx = randperm(numel(YTrain)); XTrain = XTrain(:,:,:,idx); YTrain = YTrain(idx); for i = 1:numIterationsPerEpoch iteration = iteration + 1; % Read mini-batch of data and convert the labels to dummy % variables. idx = (i-1)*miniBatchSize+1:i*miniBatchSize; X = XTrain(:,:,:,idx); Y = zeros(numClasses, miniBatchSize, 'single'); for c = 1:numClasses Y(c,YTrain(idx)==classes(c)) = 1; end % Convert mini-batch of data to a dlarray. dlX = dlarray(single(X),'SSCB'); % If training on a GPU, then convert data to a gpuArray. if (executionEnvironment == "auto" && canUseGPU) || executionEnvironment == "gpu" dlX = gpuArray(dlX); end % Evaluate the model gradients and loss using dlfeval and the % modelGradients helper function. [gradients,loss] = dlfeval(@modelGradients,dlnet,dlX,Y); % Update the network parameters using the SGDM optimizer. [dlnet,vel] = sgdmupdate(dlnet,gradients,vel); % Display the training progress. if plots == "training-progress" D = duration(0,0,toc(start),'Format','hh:mm:ss'); addpoints(lineLossTrain,iteration,double(gather(extractdata(loss)))) title("Epoch: " + epoch + ", Elapsed: " + string(D)) drawnow end end end
Тестирование сети
Проверьте точность классификации модели путем сравнения прогнозов на тестовом наборе с истинными метками.
[XTest, YTest] = digitTest4DArrayData;
Преобразование данных в dlarray с форматом размера 'SSCB'. Для прогнозирования GPU также преобразуйте данные в gpuArray.
dlXTest = dlarray(XTest,'SSCB'); if (executionEnvironment == "auto" && canUseGPU) || executionEnvironment == "gpu" dlXTest = gpuArray(dlXTest); end
Классификация изображений с помощью dlnetwork объект, используйте predict и найти классы с самыми высокими баллами.
dlYPred = predict(dlnet,dlXTest); [~,idx] = max(extractdata(dlYPred),[],1); YPred = classes(idx);
Оцените точность классификации.
accuracy = mean(YPred==YTest)
accuracy = 0.9916
Функция градиентов модели
modelGradients функция помощника принимает dlnetwork объект dlnet и мини-пакет входных данных dlX с соответствующими метками Yи возвращает потери и градиенты потерь относительно обучаемых параметров в dlnet. Для автоматического вычисления градиентов используйте dlgradient функция.
function [gradients,loss] = modelGradients(dlnet,dlX,Y) dlYPred = forward(dlnet,dlX); loss = crossentropy(dlYPred,Y); gradients = dlgradient(loss,dlnet.Learnables); end
adamupdate | dlarray | dlfeval | dlgradient | dlnetwork | dlupdate | forward | rmspropupdate