Варианты обучения нейронной сети глубокого обучения
options = trainingOptions(solverName)solverName. Для обучения сети используйте параметры обучения в качестве входного аргумента для trainNetwork функция.
options = trainingOptions(solverName,Name,Value)
Создайте набор опций для обучения сети с использованием стохастического градиентного спуска с импульсом. Снижайте уровень обучения в 0,2 раза каждые 5 эпох. Установите максимальное количество периодов для обучения равным 20 и используйте мини-пакет с 64 наблюдениями на каждой итерации. Включите график хода обучения.
options = trainingOptions('sgdm', ... 'LearnRateSchedule','piecewise', ... 'LearnRateDropFactor',0.2, ... 'LearnRateDropPeriod',5, ... 'MaxEpochs',20, ... 'MiniBatchSize',64, ... 'Plots','training-progress')
options =
TrainingOptionsSGDM with properties:
Momentum: 0.9000
InitialLearnRate: 0.0100
LearnRateSchedule: 'piecewise'
LearnRateDropFactor: 0.2000
LearnRateDropPeriod: 5
L2Regularization: 1.0000e-04
GradientThresholdMethod: 'l2norm'
GradientThreshold: Inf
MaxEpochs: 20
MiniBatchSize: 64
Verbose: 1
VerboseFrequency: 50
ValidationData: []
ValidationFrequency: 50
ValidationPatience: Inf
Shuffle: 'once'
CheckpointPath: ''
ExecutionEnvironment: 'auto'
WorkerLoad: []
OutputFcn: []
Plots: 'training-progress'
SequenceLength: 'longest'
SequencePaddingValue: 0
SequencePaddingDirection: 'right'
DispatchInBackground: 0
ResetInputNormalization: 1
BatchNormalizationStatistics: 'population'
При обучении сетей глубокому обучению часто полезно следить за ходом обучения. Построив различные показатели во время обучения, можно узнать, как проходит обучение. Например, можно определить, насколько быстро повышается точность сети и начинает ли сеть перегружать данные обучения.
При указании 'training-progress' в качестве 'Plots' значение в trainingOptions и начать обучение сети, trainNetwork создает фигуру и отображает метрики обучения в каждой итерации. Каждая итерация представляет собой оценку градиента и обновление параметров сети. Если указаны данные проверки в trainingOptions, то рисунок показывает метрики проверки каждый раз trainNetwork проверяет сеть. На рисунке показано следующее:
Точность обучения - точность классификации для каждой отдельной мини-партии.
Сглаженная точность обучения - сглаженная точность обучения, полученная путем применения алгоритма сглаживания к точности обучения. Это менее шумно, чем несмытая точность, что облегчает выявление тенденций.
Точность проверки - точность классификации для всего набора проверки (задается с помощью trainingOptions).
Потеря обучения, сглаженная потеря обучения и потеря проверки - потеря в каждой мини-партии, ее сглаженной версии и потеря в наборе проверки соответственно. Если последним уровнем сети является classificationLayer, то функция потерь является перекрестной потерей энтропии. Дополнительные сведения о функциях потерь для проблем классификации и регрессии см. в разделе Выходные слои.
Для регрессионных сетей рисунок отображает среднеквадратическую ошибку (RMSE) вместо точности.
На рисунке отмечается каждая учебная эпоха с помощью затененного фона. Эпоха - это полный проход через весь набор данных.
Во время обучения можно остановить обучение и вернуть текущее состояние сети, нажав кнопку остановки в правом верхнем углу. Например, вы можете прекратить обучение, когда точность сети достигает плато, и ясно, что точность больше не улучшается. После нажатия кнопки остановки обучение может пройти некоторое время. После завершения обучения trainNetwork возвращает обученную сеть.
После завершения обучения просмотрите результаты, показывающие окончательную точность проверки и причину завершения обучения. Окончательные метрики проверки помечены на графиках как Конечные (Final). Если сеть содержит уровни пакетной нормализации, окончательные метрики проверки могут отличаться от метрик проверки, оцененных во время обучения. Это объясняется тем, что статистика средних значений и отклонений, используемая для нормализации партий, может отличаться после завершения обучения. Например, если 'BatchNormalizationStatisics' вариант обучения - 'population'затем после обучения программное обеспечение завершает статистику пакетной нормализации путем повторного прохождения обучающих данных и использует полученное среднее значение и дисперсию. Если 'BatchNormalizationStatisics' вариант обучения - 'moving'затем программное обеспечение аппроксимирует статистику во время обучения с использованием текущей оценки и использует последние значения статистики.
Справа просмотрите информацию о времени и настройках обучения. Дополнительные сведения о параметрах обучения см. в разделах Настройка параметров и конволюционная нейронная сеть поезда.
График хода обучения во время обучения
Обучение сети и составление графика хода обучения во время обучения.
Загрузите обучающие данные, содержащие 5000 изображений цифр. Отложите 1000 изображений для проверки сети.
[XTrain,YTrain] = digitTrain4DArrayData; idx = randperm(size(XTrain,4),1000); XValidation = XTrain(:,:,:,idx); XTrain(:,:,:,idx) = []; YValidation = YTrain(idx); YTrain(idx) = [];
Создайте сеть для классификации цифровых данных изображения.
layers = [
imageInputLayer([28 28 1])
convolution2dLayer(3,8,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,16,'Padding','same')
batchNormalizationLayer
reluLayer
maxPooling2dLayer(2,'Stride',2)
convolution2dLayer(3,32,'Padding','same')
batchNormalizationLayer
reluLayer
fullyConnectedLayer(10)
softmaxLayer
classificationLayer];Укажите параметры сетевого обучения. Для проверки сети с регулярными интервалами во время обучения укажите данные проверки. Выберите 'ValidationFrequency' значение, чтобы сеть проверялась один раз за эпоху. Для построения графика хода обучения во время обучения укажите 'training-progress' в качестве 'Plots' значение.
options = trainingOptions('sgdm', ... 'MaxEpochs',8, ... 'ValidationData',{XValidation,YValidation}, ... 'ValidationFrequency',30, ... 'Verbose',false, ... 'Plots','training-progress');
Обучение сети.
net = trainNetwork(XTrain,YTrain,layers,options);
solverName - Решатель для обучающей сети'sgdm' | 'rmsprop' | 'adam'Решатель для обучающей сети, указанный как одно из следующих:
'sgdm' - Использовать стохастический градиентный спуск с оптимизатором импульса (SGDM). Значение импульса можно задать с помощью 'Momentum' аргумент пары имя-значение.
'rmsprop'- использовать оптимизатор RMSProp. Скорость затухания квадратичного градиентного скользящего среднего можно задать с помощью 'SquaredGradientDecayFactor' аргумент пары имя-значение.
'adam'- Используйте оптимизатор Adam. Можно задать скорости затухания скользящих средних градиента и квадрата градиента, используя 'GradientDecayFactor' и 'SquaredGradientDecayFactor' аргументы пары имя-значение соответственно.
Дополнительные сведения о различных решателях см. в разделе Стохастический градиентный спуск.
Укажите дополнительные пары, разделенные запятыми Name,Value аргументы. Name является именем аргумента и Value - соответствующее значение. Name должен отображаться внутри кавычек. Можно указать несколько аргументов пары имен и значений в любом порядке как Name1,Value1,...,NameN,ValueN.
'InitialLearnRate',0.03,'L2Regularization',0.0005,'LearnRateSchedule','piecewise' определяет начальную скорость обучения как 0,03 иL2 коэффициент регуляризации, равный 0,0005, и предписывает программному обеспечению снижать скорость обучения за каждое заданное число эпох путем умножения на определенный коэффициент.'Plots' - Графики для отображения во время обучения сети'none' (по умолчанию) | 'training-progress'Графики для отображения во время обучения сети, указанные как разделенная запятыми пара, состоящая из 'Plots' и одно из следующих:
'none' - Не отображать графики во время обучения.
'training-progress'- Ход обучения на участке. На графике показаны потери и точность мини-партии, потери и точность проверки и дополнительная информация о ходе обучения. В
верхнем правом углу графика имеется кнопка остановки. Нажмите кнопку, чтобы остановить обучение и вернуть текущее состояние сети. Дополнительные сведения о графике хода обучения см. в разделе Мониторинг хода обучения по углубленному обучению.
Пример: 'Plots','training-progress'
'Verbose' - Индикатор для отображения информации о ходе обучения1 (true) (по умолчанию) | 0 (false)Индикатор для отображения информации о ходе обучения в командном окне, указанном как разделенная запятыми пара, состоящая из 'Verbose' и либо 1 (true) или 0 (false).
В подробных выходных данных отображается следующая информация:
Классификационные сети
| Область | Описание |
|---|---|
Epoch | Номер эпохи. Эпоха соответствует полному прохождению данных. |
Iteration | Номер итерации. Итерация соответствует мини-партии. |
Time Elapsed | Время в часах, минутах и секундах. |
Mini-batch Accuracy | Точность классификации на мини-партии. |
Validation Accuracy | Точность классификации по данным проверки. Если данные проверки не указаны, функция не отображает это поле. |
Mini-batch Loss | Потеря на мини-партии. Если выходным слоем является ClassificationOutputLayer объект, то потеря является перекрестной потерей энтропии для задач классификации нескольких классов с взаимоисключающими классами. |
Validation Loss | Потеря данных проверки. Если выходным слоем является ClassificationOutputLayer объект, то потеря является перекрестной потерей энтропии для задач классификации нескольких классов с взаимоисключающими классами. Если данные проверки не указаны, функция не отображает это поле. |
Base Learning Rate | Базовая скорость обучения. Программное обеспечение умножает коэффициенты скорости обучения слоев на это значение. |
Регрессионные сети
| Область | Описание |
|---|---|
Epoch | Номер эпохи. Эпоха соответствует полному прохождению данных. |
Iteration | Номер итерации. Итерация соответствует мини-партии. |
Time Elapsed | Время в часах, минутах и секундах. |
Mini-batch RMSE | Корневая среднеквадратичная ошибка (RMSE) в мини-партии. |
Validation RMSE | RMSE на данных проверки. Если данные проверки не указаны, программное обеспечение не отображает это поле. |
Mini-batch Loss | Потеря на мини-партии. Если выходным слоем является RegressionOutputLayer объект, то потеря - это среднеквадратичная ошибка. |
Validation Loss | Потеря данных проверки. Если выходным слоем является RegressionOutputLayer объект, то потеря - это среднеквадратичная ошибка. Если данные проверки не указаны, программное обеспечение не отображает это поле. |
Base Learning Rate | Базовая скорость обучения. Программное обеспечение умножает коэффициенты скорости обучения слоев на это значение. |
Чтобы указать данные проверки, используйте 'ValidationData' пара имя-значение.
Пример: 'Verbose',false
'VerboseFrequency' - Периодичность многословной печатиЧастота детальной печати, которая представляет собой число итераций между печатью в командное окно, указанное как разделенная запятыми пара, состоящая из 'VerboseFrequency' и положительное целое число. Этот параметр действует только в том случае, если 'Verbose' значение равно true.
При проверке сети во время обучения trainNetwork также печатается в окне команд каждый раз при проверке.
Пример: 'VerboseFrequency',100
Для выполнения большинства задач глубокого обучения можно использовать предварительно подготовленную сеть и адаптировать ее к собственным данным. Пример, показывающий, как использовать transfer learning для переподготовки сверточной нейронной сети для классификации нового набора изображений, см. в разделе Train Deep Learning Network to Classify New Images. Кроме того, можно создавать и обучать сети с нуля с помощью layerGraph объекты с trainNetwork и trainingOptions функции.
Если trainingOptions функция не предоставляет возможности обучения, необходимые для выполнения задачи, после чего можно создать индивидуальный цикл обучения с помощью автоматического дифференцирования. Дополнительные сведения см. в разделе Определение сети глубокого обучения для пользовательских циклов обучения.
[1] Бишоп, К. М. Распознавание образов и машинное обучение. Спрингер, Нью-Йорк, Нью-Йорк, 2006.
[2] Мерфи, К. П. Машинное обучение: вероятностная перспектива. MIT Press, Кембридж, Массачусетс, 2012.
[3] Паскану, Р., Т. Миколов и Я. Бенгио. «О сложности обучения рецидивирующих нейронных сетей». Материалы 30-й Международной конференции по машинному обучению. Том 28 (3), 2013, стр. 1310-1318.
[4] Кингма, Дьедерик и Джимми Ба. «Адам: метод стохастической оптимизации». arXiv препринт arXiv:1412.6980 (2014).
analyzeNetwork | Конструктор глубоких сетей | trainNetwork