При стандартном наискорейшем спуске скорость обучения поддерживается постоянным на протяжении всего обучения. Эффективность алгоритма очень чувствительна к правильной установке скорости обучения. Если скорость обучения установлена слишком высоким, алгоритм может колебаться и становиться нестабильным. Если скорость обучения слишком мала, алгоритму требуется слишком много времени, чтобы сходиться. Нецелесообразно определять оптимальную настройку скорости обучения перед обучением и, фактически, оптимальную скорость обучения изменяется в процессе обучения, когда алгоритм перемещается по поверхности эффективности.

Можно улучшить эффективность алгоритма наискорейшего спуска, если позволить скорости обучения измениться в процессе обучения. Адаптивная скорость обучения пытается сохранить размер шага обучения как можно большим, сохраняя обучение стабильным. Эта скорость обучения реагирует на сложность локальной поверхности ошибки.

Адаптивная скорость обучения требует некоторых изменений в процедуре обучения, используемой traingd. Во-первых, вычисляются исходный выход сети и ошибка. В каждую эпоху новые веса и смещения вычисляются с использованием текущей скорости обучения. Затем вычисляются новые выходы и ошибки.

Как и в случае с импульсом, если новая ошибка превышает старую ошибку больше, чем предопределенное отношение, max_perf_inc (обычно 1.04), новые веса и смещения отбрасываются. В сложение скорости обучения уменьшается (обычно умножением на lr_dec = 0.7). В противном случае сохраняются новые веса и т.д. Если новая ошибка меньше, чем старая, скорость обучения увеличивается (обычно умножением на lr_inc = 1.05).

Эта процедура увеличивает скорость обучения, но только в той степени, в которой сеть может учиться без больших увеличений ошибок. Таким образом, получается почти оптимальная скорость обучения для локальной местности. Когда большая скорость обучения может привести к стабильному обучению, темп обучения увеличивается. Когда скорость обучения слишком высок, чтобы гарантировать уменьшение ошибки, он уменьшается, пока не возобновится стабильное обучение.

Попробуйте демонстрацию Neural Network Design nnd12vl [HDB96] для рисунка эффективности алгоритма переменной скорости обучения.

Обучение Backpropagation с адаптивной скоростью обучения реализовано с функцией traingda, который называется прямо как traingd, за исключением дополнительных параметров обучения max_perf_inc, lr_dec, и lr_inc. Вот как это называется, чтобы обучить предыдущую двухуровневую сеть:

p = [-1 -1 2 2; 0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'traingda');
net.trainParam.lr = 0.05;
net.trainParam.lr_inc = 1.05;
net = train(net,p,t);
y = net(p)