Опции для обучения глубокой нейронной сети
options = trainingOptions(solverName)options = trainingOptions(solverName,Name,Value)options = trainingOptions(solverName)solverName. Чтобы обучить сеть, используйте опции обучения в качестве входного параметра к функции trainNetwork.
options = trainingOptions(solverName,Name,Value)
Создайте набор опций для обучения сеть с помощью стохастического спуска градиента с импульсом. Уменьшайте темп обучения фактором 0,2 каждых 5 эпох. Определите максимальный номер эпох для обучения к 20 и используйте мини-пакет с 64 наблюдениями в каждой итерации. Включите учебный график прогресса.
options = trainingOptions('sgdm', ... 'LearnRateSchedule','piecewise', ... 'LearnRateDropFactor',0.2, ... 'LearnRateDropPeriod',5, ... 'MaxEpochs',20, ... 'MiniBatchSize',64, ... 'Plots','training-progress')
options =
TrainingOptionsSGDM with properties:
Momentum: 0.9000
InitialLearnRate: 0.0100
LearnRateScheduleSettings: [1x1 struct]
L2Regularization: 1.0000e-04
GradientThresholdMethod: 'l2norm'
GradientThreshold: Inf
MaxEpochs: 20
MiniBatchSize: 64
Verbose: 1
VerboseFrequency: 50
ValidationData: []
ValidationFrequency: 50
ValidationPatience: Inf
Shuffle: 'once'
CheckpointPath: ''
ExecutionEnvironment: 'auto'
WorkerLoad: []
OutputFcn: []
Plots: 'training-progress'
SequenceLength: 'longest'
SequencePaddingValue: 0
DispatchInBackground: 0
Когда вы обучаете нейронные сети для глубокого обучения, часто полезно контролировать учебный прогресс. Путем графического вывода различных метрик во время обучения можно изучить, как обучение прогрессирует. Например, можно определить, если и как быстро сетевая точность улучшается, и начинает ли сеть сверхсоответствовать данным тренировки.
Когда вы задаете 'training-progress' как значение 'Plots' в trainingOptions и запускаете сетевое обучение, trainNetwork создает фигуру и отображает учебные метрики в каждой итерации. Каждая итерация является оценкой градиента и обновлением сетевых параметров. Если вы задаете данные о валидации в trainingOptions, то данные показывают метрики валидации каждый раз, когда trainNetwork подтверждает сеть. Фигура строит следующее:
Учебная точность — точность Классификации на каждом отдельном мини-пакете.
Сглаживавшая учебная точность — Сглаживавшая учебная точность, полученная путем применения алгоритма сглаживания для учебной точности. Это является менее шумным, чем не сглаживавшая точность, облегчая определять тренды.
Точность валидации — точность Классификации на целом наборе валидации (заданное использование trainingOptions).
Учебная потеря, сглаживавшая учебная потеря и потеря валидации — потеря на каждом мини-пакете, его сглаживавшей версии и потере на наборе валидации, соответственно. Если последним слоем вашей сети является classificationLayer, то функция потерь является перекрестной энтропийной потерей. Для получения дополнительной информации о функциях потерь для классификации и проблем регрессии, смотрите Выходные Слои.
Для сетей регрессии фигура строит среднеквадратичную ошибку (RMSE) вместо точности.
Фигура отмечает каждую учебную Эпоху с помощью теневого фона. Эпоха является всей передачей через целый набор данных.
Во время обучения можно остановить обучение и возвратить текущее состояние сети путем нажатия кнопки остановки в верхнем правом углу. Например, вы можете хотеть остановить обучение, когда точность сети достигает плато, и ясно, что точность больше не улучшается. После того, как вы нажмете кнопку остановки, она может требовать времени для обучения завершиться. Если обучение завершено, trainNetwork возвращает обучивший сеть.
Когда обучение закончится, просмотрите Результаты, показывающие итоговую точность валидации и причину то законченное обучение. Итоговые метрики валидации маркированы Final в графиках. Если ваша сеть содержит пакетные слои нормализации, то итоговые метрики валидации часто отличаются от метрик валидации, оцененных во время обучения. Это вызвано тем, что пакетные слои нормализации в итоговой сети выполняют различные операции, чем во время обучения.
Справа, просмотрите информацию в учебное время и настройки. Чтобы узнать больше об опциях обучения, смотрите Настроенные Параметры и Обучите Сверточную Нейронную сеть.
Постройте учебный прогресс во время обучения
Обучите сеть и постройте учебный прогресс во время обучения.
Загрузите данные тренировки, который содержит 5 000 изображений цифр. Отложите 1000 из изображений для сетевой валидации.
[XTrain,YTrain] = digitTrain4DArrayData; idx = randperm(size(XTrain,4),1000); XValidation = XTrain(:,:,:,idx); XTrain(:,:,:,idx) = []; YValidation = YTrain(idx); YTrain(idx) = [];
Создайте сеть, чтобы классифицировать данные изображения цифры.
layers = [
imageInputLayer([28 28 1])
convolution2dLayer(3,8,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,16,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];Задайте опции для сетевого обучения. Чтобы подтвердить сеть равномерно во время обучения, задайте данные о валидации. Выберите значение 'ValidationFrequency' так, чтобы сеть была подтверждена об однажды в эпоху. Чтобы построить учебный прогресс во время обучения, задайте 'training-progress' как значение 'Plots'.
options = trainingOptions('sgdm', ... 'MaxEpochs',8, ... 'ValidationData',{XValidation,YValidation}, ... 'ValidationFrequency',30, ... 'Verbose',false, ... 'Plots','training-progress');
Обучите сеть.
net = trainNetwork(XTrain,YTrain,layers,options);
solverName — Решатель для того, чтобы обучить сеть'sgdm' | 'rmsprop' | 'adam'Решатель для того, чтобы обучить сеть, заданный как одно из следующего:
'sgdm' — Используйте стохастический спуск градиента с импульсом (SGDM) оптимизатор. Можно задать значение импульса с помощью аргумента пары "имя-значение" 'Momentum'.
'rmsprop' — Используйте оптимизатор RMSProp. Можно задать уровень затухания скользящего среднего значения градиента в квадрате с помощью аргумента пары "имя-значение" 'SquaredGradientDecayFactor'.
'adam' — Используйте оптимизатор Адама. Можно задать уровни затухания градиента и скользящих средних значений градиента в квадрате с помощью аргументов пары "имя-значение" 'GradientDecayFactor' и 'SquaredGradientDecayFactor', соответственно.
Для получения дополнительной информации о других решателях, смотрите Стохастический Спуск Градиента.
Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.
'InitialLearnRate',0.03,'L2Regularization',0.0005,'LearnRateSchedule','piecewise' задает начальный темп обучения как 0,03 и theL2 фактор регуляризации как 0,0005 и дает программному обеспечению команду пропускать темп обучения каждый данный номер эпох путем умножения с определенным фактором.'Plots' — Графики отобразиться во время сетевого обучения'none' (значение по умолчанию) | 'training-progress'Графики отобразиться во время сетевого обучения, заданного как пара, разделенная запятой, состоящая из 'Plots' и одно из следующего:
'none' Не отображайте графики во время обучения.
'training-progress' — Постройте учебный прогресс. График показывает мини-пакетную потерю и точность, потерю валидации и точность и дополнительную информацию об учебном прогрессе. График имеет кнопку остановки
в верхнем правом углу. Нажмите кнопку, чтобы остановить обучение и возвратить текущее состояние сети. Для получения дополнительной информации об учебном графике прогресса смотрите Прогресс Обучения Глубокому обучению Монитора.
Пример: 'Plots','training-progress'
'Verbose' — Индикатор, чтобы отобразить учебную информацию о прогрессе1 (true) (значение по умолчанию) | 0 (false)Индикатор, чтобы отобразить учебную информацию о прогрессе в командном окне, заданном как пара, разделенная запятой, состоящая из 'Verbose' и или 1 (true) или 0 (false).
Многословный вывод отображает следующую информацию:
Сети классификации
| Поле | Описание |
|---|---|
Epoch | Номер эпохи. Эпоха соответствует всей передаче данных. |
Iteration | Номер итерации. Итерация соответствует мини-пакету. |
Time Elapsed | Время протекло в часах, минутах и секундах. |
Mini-batch Accuracy | Точность классификации на мини-пакете. |
Validation Accuracy | Точность классификации на данных о валидации. Если вы не задаете данные о валидации, то функция не отображает это поле. |
Mini-batch Loss | Потеря на мини-пакете. Если выходной слой является объектом ClassificationOutputLayer, то потеря является перекрестной энтропийной потерей для проблем классификации мультиклассов со взаимоисключающими классами. |
Validation Loss | Потеря на данных о валидации. Если выходной слой является объектом ClassificationOutputLayer, то потеря является перекрестной энтропийной потерей для проблем классификации мультиклассов со взаимоисключающими классами. Если вы не задаете данные о валидации, то функция не отображает это поле. |
Base Learning Rate | Основной темп обучения. Программное обеспечение умножает изучить факторы уровня слоев этим значением. |
Сети регрессии
| Поле | Описание |
|---|---|
Epoch | Номер эпохи. Эпоха соответствует всей передаче данных. |
Iteration | Номер итерации. Итерация соответствует мини-пакету. |
Time Elapsed | Время протекло в часах, минутах и секундах. |
Mini-batch RMSE | Среднеквадратическая ошибка (RMSE) на мини-пакете. |
Validation RMSE | RMSE на данных о валидации. Если вы не задаете данные о валидации, то программное обеспечение не отображает это поле. |
Mini-batch Loss | Потеря на мини-пакете. Если выходной слой является объектом RegressionOutputLayer, то потеря является половиной среднеквадратической ошибки. |
Validation Loss | Потеря на данных о валидации. Если выходной слой является объектом RegressionOutputLayer, то потеря является половиной среднеквадратической ошибки. Если вы не задаете данные о валидации, то программное обеспечение не отображает это поле. |
Base Learning Rate | Основной темп обучения. Программное обеспечение умножает изучить факторы уровня слоев этим значением. |
Чтобы задать данные о валидации, используйте пару "имя-значение" 'ValidationData'.
Пример: 'Verbose',false
'VerboseFrequency' — Частота многословной печатиЧастота многословной печати, которая является количеством итераций между печатью к командному окну, заданному как пара, разделенная запятой, состоящая из 'VerboseFrequency' и положительным целым числом. Эта опция только имеет эффект, когда значение 'Verbose' равняется true.
Если вы подтверждаете сеть во время обучения, то trainNetwork также распечатывает к командному окну каждый раз, когда валидация происходит.
Пример: 'VerboseFrequency',100
[1] Епископ, C. M. Распознавание образов и машинное обучение. Спрингер, Нью-Йорк, Нью-Йорк, 2006.
[2] Мерфи, K. P. Машинное обучение: вероятностная перспектива. Нажатие MIT, Кембридж, Массачусетс, 2012.
[3] Pascanu, R., Т. Миколов и И. Бенхио. "На трудности учебных рекуррентных нейронных сетей". Продолжения 30-й Международной конференции по вопросам Машинного обучения. Издание 28 (3), 2013, стр 1310–1318.
[4] Kingma, Дидерик и Джимми Ба. "Адам: метод для стохастической оптимизации". arXiv предварительно распечатывают arXiv:1412.6980 (2014).