Опции для обучения глубокой нейронной сети
options = trainingOptions(solverName)solverName. Чтобы обучить сеть, используйте опции обучения как входного параметра для trainNetwork функция.
options = trainingOptions(solverName,Name,Value)
Создайте набор опций для настройки сети с помощью стохастического градиентного спуска с импульсом. Уменьшите скорость обучения в множитель 0,2 каждые 5 эпох. Установите максимальное количество эпох для обучения в 20 и используйте мини-пакет с 64 наблюдениями при каждой итерации. Включите график процесса обучения.
options = trainingOptions('sgdm', ... 'LearnRateSchedule','piecewise', ... 'LearnRateDropFactor',0.2, ... 'LearnRateDropPeriod',5, ... 'MaxEpochs',20, ... 'MiniBatchSize',64, ... 'Plots','training-progress')
options =
TrainingOptionsSGDM with properties:
Momentum: 0.9000
InitialLearnRate: 0.0100
LearnRateSchedule: 'piecewise'
LearnRateDropFactor: 0.2000
LearnRateDropPeriod: 5
L2Regularization: 1.0000e-04
GradientThresholdMethod: 'l2norm'
GradientThreshold: Inf
MaxEpochs: 20
MiniBatchSize: 64
Verbose: 1
VerboseFrequency: 50
ValidationData: []
ValidationFrequency: 50
ValidationPatience: Inf
Shuffle: 'once'
CheckpointPath: ''
ExecutionEnvironment: 'auto'
WorkerLoad: []
OutputFcn: []
Plots: 'training-progress'
SequenceLength: 'longest'
SequencePaddingValue: 0
SequencePaddingDirection: 'right'
DispatchInBackground: 0
ResetInputNormalization: 1
BatchNormalizationStatistics: 'population'
Когда вы обучаете сети для глубокого обучения, часто полезно контролировать процесс обучения. Путем построения графиков различных метрик во время обучения можно узнать, как прогрессирует обучение. Например, можно определить, улучшается ли и как быстро точность сети, и начинает ли сеть перегружать обучающие данные.
Когда вы задаете 'training-progress' как 'Plots' значение в trainingOptions и начните сетевое обучение, trainNetwork создает рисунок и отображает метрики обучения при каждой итерации. Каждая итерация является оценкой градиента и обновлением параметров сети. Если вы задаете данные валидации в trainingOptions, затем рисунок показывает метрики валидации каждый раз trainNetwork проверяет сеть. Рисунок изображает следующее:
Точность обучения - Классификационная точность на каждом отдельном мини-пакете.
Сглаженная точность обучения - сглаженная точность обучения, получаемая путем применения алгоритма сглаживания к точности обучения. Он менее шумен, чем немодированная точность, что облегчает определение трендов.
Точность валидации - точность классификации на целом наборе валидации (задается с помощью trainingOptions).
Потеря обучения, сглаженная потеря обучения и потеря валидации - потеря на каждом мини-пакете, его сглаженная версия и потеря на наборе валидации, соответственно. Если конечным слоем сети является classificationLayer, тогда функция потерь является потерей перекрестной энтропии. Для получения дополнительной информации о функциях потерь для задач классификации и регрессии, смотрите Выходные слои.
Для регрессионных сетей рисунок строит график среднеквадратичной ошибки (RMSE) вместо точности.
Рисунок помечает каждую эпоху обучения с помощью затененного фона. Эпоха является полным прохождением всего набора данных.
Во время обучения можно остановить обучение и вернуть текущее состояние сети, нажав кнопку стоп в правом верхнем углу. Например, можно хотеть остановить обучение, когда точность сети достигает плато, и ясно, что точность больше не улучшается. После нажатия кнопки stop может потребоваться некоторое время для завершения обучения. Когда обучение завершено, trainNetwork возвращает обученную сеть.
Когда обучение завершается, просмотрите Результаты, показывающие окончательную точность валидации и причины завершения обучения. Метрики окончательной валидации помечены на графиках как Final. Если ваша сеть содержит слои нормализации партии ., итоговые метрики валидации могут отличаться от метрик валидации, оцененных во время обучения. Это связано с тем, что среднее значение статистики отклонений, используемой для нормализации партии ., может отличаться после завершения обучения. Для примера, если 'BatchNormalizationStatisics' опция обучения 'population'затем после обучения программное обеспечение завершает статистику нормализации партии . путем повторной передачи обучающих данных и использует полученное среднее значение и отклонение. Если на 'BatchNormalizationStatisics' опция обучения 'moving'затем программное обеспечение аппроксимирует статистику во время обучения с помощью текущей оценки и использует последние значения статистики.
Справа просмотрите информацию о времени и настройках обучения. Чтобы узнать больше об опциях обучения, см. Раздел «Настройка параметров» и «Train сверточной нейронной сети».
Стройте графики процесса обучения во время обучения
Обучите сеть и постройте график процесса обучения во время обучения.
Загрузите обучающие данные, которые содержат 5000 изображений цифр. Выделите 1000 изображений для валидации сети.
[XTrain,YTrain] = digitTrain4DArrayData; idx = randperm(size(XTrain,4),1000); XValidation = XTrain(:,:,:,idx); XTrain(:,:,:,idx) = []; YValidation = YTrain(idx); YTrain(idx) = [];
Создайте сеть, чтобы классифицировать цифровые данные изображения.
layers = [
imageInputLayer([28 28 1])
convolution2dLayer(3,8,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,16,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];Укажите опции сетевого обучения. Чтобы проверить сеть на регулярных интервалах во время обучения, укажите данные валидации. Выберите 'ValidationFrequency' значение таким образом, чтобы сеть проверялась примерно один раз в эпоху. Чтобы построить график процесса обучения во время обучения, задайте 'training-progress' как 'Plots' значение.
options = trainingOptions('sgdm', ... 'MaxEpochs',8, ... 'ValidationData',{XValidation,YValidation}, ... 'ValidationFrequency',30, ... 'Verbose',false, ... 'Plots','training-progress');
Обучите сеть.
net = trainNetwork(XTrain,YTrain,layers,options);
solverName - Решатель для обучающей сети'sgdm' | 'rmsprop' | 'adam'Решатель для обучающей сети, заданный как один из следующих:
'sgdm' - Используйте стохастический градиентный спуск с оптимизатором импульса (SGDM). Можно задать значение импульса с помощью 'Momentum' аргумент пары "имя-значение".
'rmsprop'- Используйте оптимизатор RMSProp. Можно задать скорость распада квадратного градиента скользящего среднего значения с помощью 'SquaredGradientDecayFactor' аргумент пары "имя-значение".
'adam'- Используйте оптимизатор Адама. Можно задать скорости распада градиента и квадратного градиента скользящих средних значений помощью 'GradientDecayFactor' и 'SquaredGradientDecayFactor' Аргументы пары "имя-значение", соответственно.
Для получения дополнительной информации о других решателях. Stochastic Gradient Descent.
Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.
'InitialLearnRate',0.03,'L2Regularization',0.0005,'LearnRateSchedule','piecewise' задает начальную скорость обучения 0,03 и L2 коэффициент регуляризации 0,0005 и предписывает программному обеспечению сбрасывать скорость обучения каждое заданное количество эпох путем умножения с определенным фактором.'Plots' - графики для отображения во время сетевого обучения'none' (по умолчанию) | 'training-progress'Графики для отображения во время сетевого обучения, заданные как разделенная разделенными запятой парами, состоящая из 'Plots' и одно из следующих:
'none' - Не отображать графики во время обучения.
'training-progress'- Стройте графики процесса обучения. График показывает мини-потери и точность пакетов, потери и точность валидации, а также дополнительную информацию о процессе обучения. График имеет кнопку стопа
в правом верхнем углу. Нажмите кнопку, чтобы остановить обучение и вернуть текущее состояние сети. Для получения дополнительной информации о графике процесса обучения смотрите Монитор Глубокого обучения Процесса обучения.
Пример: 'Plots','training-progress'
'Verbose' - Индикатор для отображения информации о процессе обучения1 (true) (по умолчанию) | 0 (false)Индикатор для отображения информации о процессе обучения в командном окне, заданный как разделенная разделенными запятой парами, состоящая из 'Verbose' и любой из них 1 (true) или 0 (false).
Подробный выход отображает следующую информацию:
Классификационные сети
| Область | Описание |
|---|---|
Epoch | Номер эпохи. Эпоха соответствует полному проходу данных. |
Iteration | Номер итерации. Итерация соответствует мини-пакету. |
Time Elapsed | Время прошло в часах, минутах и секундах. |
Mini-batch Accuracy | Классификационная точность на мини-пакете. |
Validation Accuracy | Классификационная точность данных валидации. Если вы не задаете данные валидации, то функция не отображает это поле. |
Mini-batch Loss | Потеря по мини-пакету. Если выход слой является ClassificationOutputLayer объект, тогда потеря является потерей перекрестной энтропии для задач классификации нескольких классов с взаимоисключающими классами. |
Validation Loss | Потеря данных валидации. Если выход слой является ClassificationOutputLayer объект, тогда потеря является потерей перекрестной энтропии для задач классификации нескольких классов с взаимоисключающими классами. Если вы не задаете данные валидации, то функция не отображает это поле. |
Base Learning Rate | Базовая скорость обучения. Программа умножает коэффициенты скорости обучения слоев на это значение. |
Регрессионные сети
| Область | Описание |
|---|---|
Epoch | Номер эпохи. Эпоха соответствует полному проходу данных. |
Iteration | Номер итерации. Итерация соответствует мини-пакету. |
Time Elapsed | Время прошло в часах, минутах и секундах. |
Mini-batch RMSE | Root-mean-quared-error (RMSE) на мини-пакете. |
Validation RMSE | RMSE на данных валидации. Если вы не задаете данные валидации, то программное обеспечение не отображает это поле. |
Mini-batch Loss | Потеря по мини-пакету. Если выход слой является RegressionOutputLayer объект, тогда потеря является квадратичной невязкой. |
Validation Loss | Потеря данных валидации. Если выход слой является RegressionOutputLayer объект, тогда потеря является квадратичной невязкой. Если вы не задаете данные валидации, то программное обеспечение не отображает это поле. |
Base Learning Rate | Базовая скорость обучения. Программа умножает коэффициенты скорости обучения слоев на это значение. |
Чтобы задать данные валидации, используйте 'ValidationData' Пара "имя-значение".
Пример: 'Verbose',false
'VerboseFrequency' - Частота подробной печатиЧастота подробной печати, которая является количеством итераций между печатью в командное окно, заданная как разделенная разделенными запятой парами, состоящая из 'VerboseFrequency' и положительное целое число. Эта опция имеет эффект только когда 'Verbose' значение равно true.
Если вы проверяете сеть во время обучения, то trainNetwork также печатается в командном окне каждый раз, когда происходит валидация.
Пример: 'VerboseFrequency',100
Для большинства задач глубокого обучения можно использовать предварительно обученную сеть и адаптировать ее к собственным данным. Для примера, показывающего, как использовать передачу обучения для переобучения сверточной нейронной сети для классификации нового набора изображений, смотрите Train Нейронной сети для глубокого обучения для классификации новых изображений. Также можно создавать и обучать сети с нуля, используя layerGraph объекты с trainNetwork и trainingOptions функций.
Если trainingOptions функция не предоставляет опций обучения, которые вам нужны для вашей задачи, тогда можно создать пользовательский цикл обучения с помощью автоматической дифференциации. Дополнительные сведения см. в разделе «Определение нейронной сети для глубокого обучения для пользовательских циклов обучения».
[1] Bishop, C. M. Pattern Recognition and Машинное Обучение. Спрингер, Нью-Йорк, Нью-Йорк, 2006.
[2] Мерфи, К. П. Машинное обучение: вероятностная перспектива. The MIT Press, Кембридж, Массачусетс, 2012.
[3] Паскану, Р., Т. Миколов, и Я. Бенгио. «О сложности настройки рекуррентных нейронных сетей». Материалы 30-й Международной конференции по машинному обучению. Том 28 (3), 2013, стр. 1310-1318.
[4] Кингма, Дидерик и Джимми Ба. «Adam: A method for stochastic optimization». arXiv preprint arXiv:1412.6980 (2014).
analyzeNetwork | Deep Network Designer | trainNetwork