Документация

Анализируйте мелкую производительность нейронной сети после обучения

Эта тема представляет часть типичного мелкого рабочего процесса нейронной сети. Для получения дополнительной информации и другие шаги, смотрите Многоуровневые Мелкие Нейронные сети и Обучение Обратной связи. Чтобы узнать о том, как контролировать прогресс обучения глубокому обучению, смотрите Прогресс Обучения Глубокому обучению Монитора.

Когда обучение в Train и Применяется, Многоуровневые Мелкие Нейронные сети завершено, можно проверять производительность сети и определить, должны ли какие-либо изменения быть внесены в учебный процесс, сетевую архитектуру или наборы данных. Сначала проверяйте учебную запись, tr, который был вторым аргументом, возвращенным в учебную функцию.

tr

tr = struct with fields:
        trainFcn: 'trainlm'
      trainParam: [1x1 struct]
      performFcn: 'mse'
    performParam: [1x1 struct]
        derivFcn: 'defaultderiv'
       divideFcn: 'dividerand'
      divideMode: 'sample'
     divideParam: [1x1 struct]
        trainInd: [1x176 double]
          valInd: [1x38 double]
         testInd: [1x38 double]
            stop: 'Validation stop.'
      num_epochs: 9
       trainMask: {[1x252 double]}
         valMask: {[1x252 double]}
        testMask: {[1x252 double]}
      best_epoch: 3
            goal: 0
          states: {1x8 cell}
           epoch: [0 1 2 3 4 5 6 7 8 9]
            time: [1x10 double]
            perf: [1x10 double]
           vperf: [1x10 double]
           tperf: [1x10 double]
              mu: [1x10 double]
        gradient: [1x10 double]
        val_fail: [0 0 0 0 1 2 3 4 5 6]
       best_perf: 12.3078
      best_vperf: 16.6857
      best_tperf: 24.1796

Эта структура содержит всю информацию относительно обучения сети. Например, tr.trainInd, tr.valInd и tr.testInd содержат индексы точек данных, которые использовались в обучении, валидации и наборах тестов, соответственно. Если вы хотите переобучить сеть с помощью того же деления данных, можно установить net.divideFcn на 'divideInd', net.divideParam.trainInd к tr.trainInd, net.divideParam.valInd к tr.valInd, net.divideParam.testInd к tr.testInd.

Структура tr также отслеживает несколько переменных в ходе обучения, таких как значение функции производительности, значение градиента, и т.д. Можно использовать учебную запись, чтобы построить прогресс производительности при помощи команды plotperf:

plotperf(tr)

Свойство tr.best_epoch указывает на итерацию, в которой производительность валидации достигла минимума. Обучение продолжено для еще 6 итераций перед остановленным обучением.

Эта фигура не указывает ни на какие основные проблемы с обучением. Валидация и тестовые кривые очень похожи. Если тестовая кривая увеличилась значительно перед увеличенной кривой валидации, то возможно, что некоторая сверхподходящая сила произошла.

Следующий шаг в проверке сети должен создать график регрессии, который показывает отношение между выходными параметрами сети и целей. Если бы обучение было совершенно, сетевые выходные параметры и цели были бы точно равны, но отношение редко совершенно на практике. Для примера жировой прослойки мы можем создать график регрессии со следующими командами. Первая команда вычисляет обучивший сеть ответ на все входные параметры в наборе данных. Следующие шесть команд извлекают выходные параметры и цели, которые принадлежат обучению, валидации и тестируют подмножества. Итоговая команда создает три графика регрессии для обучения, тестирования и валидации.

bodyfatOutputs = net(bodyfatInputs);
trOut = bodyfatOutputs(tr.trainInd);
vOut = bodyfatOutputs(tr.valInd);
tsOut = bodyfatOutputs(tr.testInd);
trTarg = bodyfatTargets(tr.trainInd);
vTarg = bodyfatTargets(tr.valInd);
tsTarg = bodyfatTargets(tr.testInd);
plotregression(trTarg, trOut, 'Train', vTarg, vOut, 'Validation', tsTarg, tsOut, 'Testing')

Три графика представляют обучение, валидацию и данные о тестировании. Пунктирная линия в каждом графике представляет совершенный результат – выходные параметры = цели. Сплошная линия представляет лучшую подходящую строку линейной регрессии между выходными параметрами и целями. Значение R является индикацией относительно отношения между выходными параметрами и целями. Если R = 1, это указывает, что существует точное линейное соотношение между выходными параметрами и целями. Если R близко к нулю, то нет никакого линейного соотношения между выходными параметрами и целями.

В данном примере данные тренировки указывают на хорошую подгонку. Валидация и результаты испытаний также показывают большие значения R. График рассеивания полезен в показе, что у определенных точек данных случаются плохие судороги. Например, существует точка данных в наборе тестов, сетевой вывод которого близко к 35, в то время как соответствующее целевое значение - приблизительно 12. Следующий шаг должен был бы исследовать эту точку данных, чтобы определить, представляет ли это экстраполяцию (т.е. он за пределами обучающего набора данных). Если так, затем это должно быть включено в набор обучающих данных, и дополнительные данные должны быть собраны, чтобы использоваться в наборе тестов.

net = init(net);
net = train(net, bodyfatInputs, bodyfatTargets);