Со стандартным быстрейшим спуском темп обучения считается постоянный в течение обучения. Производительность алгоритма очень чувствительна к соответствующей установке темпа обучения. Если темп обучения установлен слишком высоко, алгоритм может колебаться и стать нестабильным. Если темп обучения слишком мал, алгоритм занимает слишком много времени сходиться. Это не практично, чтобы определить оптимальную установку для темпа обучения перед обучением, и, на самом деле, оптимальными изменениями темпа обучения во время учебного процесса, когда алгоритм преодолевает поверхность производительности.

Можно улучшать производительность алгоритма быстрейшего спуска, если вы позволяете темпу обучения изменяться во время учебного процесса. Адаптивный темп обучения пытается сохранить размер шага изучения как можно больше при сохранении стабильности изучения. Темп обучения сделан быстро реагирующим к сложности локальной ошибочной поверхности.

Адаптивный темп обучения требует некоторых изменений в методе обучения, используемом traingd. Во-первых, начальный сетевой выход и ошибка вычисляются. В каждую эпоху новые веса и смещения вычисляются с помощью текущего темпа обучения. Новые выходные параметры и ошибки затем вычисляются.

Как с импульсом, если новая ошибка превышает старую ошибку больше, чем предопределенное отношение, max_perf_inc (обычно 1.04), новые веса и смещения отбрасываются. Кроме того, темп обучения уменьшен (обычно путем умножения lr_dec = 0.7). В противном случае новые веса, и т.д., сохранены. Если новая ошибка меньше старой ошибки, темп обучения увеличен (обычно путем умножения lr_inc = 1.05).

Эта процедура увеличивает темп обучения, но только до такой степени, что сеть может учиться без больших ошибочных увеличений. Таким образом почти оптимальный темп обучения получен для локального ландшафта. Когда больший темп обучения мог привести к устойчивому изучению, темп обучения увеличен. Когда темп обучения слишком высок, чтобы гарантировать уменьшение по ошибке, он уменьшен до устойчивых резюме изучения.

Попробуйте демонстрацию Проекта Нейронной сети nnd12vl [HDB96] для рисунка производительности переменного алгоритма темпа обучения.

Обучение обратной связи с адаптивным темпом обучения реализовано с функциональным traingda, который называется точно так же, как traingd, за исключением дополнительных учебных параметров max_perf_inc, lr_dec, и lr_inc. Вот то, как это называется, чтобы обучить предыдущую сеть 2D слоя:

p = [-1 -1 2 2; 0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'traingda');
net.trainParam.lr = 0.05;
net.trainParam.lr_inc = 1.05;
net = train(net,p,t);
y = net(p)