При стандартном самом крутом спуске скорость обучения держится постоянной на протяжении всего обучения. Производительность алгоритма очень чувствительна к правильной настройке скорости обучения. Если скорость обучения установлена слишком высокой, алгоритм может колебаться и становиться нестабильным. Если скорость обучения слишком мала, алгоритм занимает слишком много времени, чтобы сойтись. Нецелесообразно определять оптимальную настройку для скорости обучения перед обучением, и фактически оптимальная скорость обучения изменяется во время процесса обучения, так как алгоритм перемещается по рабочей поверхности.

Вы можете улучшить производительность алгоритма самого крутого спуска, если позволите изменить скорость обучения в процессе обучения. Адаптивная скорость обучения пытается сохранить размер шага обучения как можно большим при сохранении стабильности обучения. Скорость обучения определяется сложностью локальной поверхности ошибки.

Адаптивная скорость обучения требует некоторых изменений в процедуре обучения, используемой traingd. Сначала вычисляют начальный сетевой выход и ошибку. В каждую эпоху новые веса и отклонения рассчитываются с использованием текущей скорости обучения. Затем вычисляются новые выходные данные и ошибки.

Как и в случае импульса, если новая ошибка превышает старую ошибку более чем на заданное отношение, max_perf_inc (обычно 1,04), новые веса и смещения отбрасываются. Кроме того, снижается скорость обучения (обычно путем умножения на lr_dec = 0.7). В противном случае новые веса и т.д. сохраняются. Если новая ошибка меньше старой, скорость обучения увеличивается (обычно умножая на lr_inc = 1.05).

Эта процедура увеличивает скорость обучения, но только в той степени, в которой сеть может учиться без больших ошибок, увеличивается. Таким образом, почти оптимальная скорость обучения получается для местной местности. Когда более высокий уровень обучения может привести к стабильному обучению, уровень обучения увеличивается. Когда скорость обучения слишком высока, чтобы гарантировать уменьшение погрешности, она уменьшается до тех пор, пока не возобновится стабильное обучение.

Попробуйте демонстрацию дизайна нейронной сети nnd12vl [HDB96] для иллюстрации производительности алгоритма переменной скорости обучения.

Обучение обратной связи с адаптивной скоростью обучения реализуется с помощью функции traingda, который называется так же, как traingd, за исключением дополнительных параметров обучения max_perf_inc, lr_dec, и lr_inc. Вот как она вызывается для обучения предыдущей двухуровневой сети:

p = [-1 -1 2 2; 0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'traingda');
net.trainParam.lr = 0.05;
net.trainParam.lr_inc = 1.05;
net = train(net,p,t);
y = net(p)