Многоуровневые сети обычно используют сигмоидальные передаточные функции в скрытых слоях. Эти функции часто вызываются, “давя” функции, потому что они сжимают бесконечный входной диапазон в конечную выходную область значений. Сигмоидальные функции характеризуются тем, что их наклоны должны приблизиться к нулю, когда вход становится большим. Это вызывает проблему, когда вы используете быстрейший спуск, чтобы обучить многоуровневую сеть с сигмоидальными функциями, потому что градиент может иметь очень маленькое значение и, поэтому, вызвать небольшие изменения в весах и смещениях, даже при том, что веса и смещения далеки от своих оптимальных значений.

Цель устойчивой обратной связи (Rprop) алгоритм обучения состоит в том, чтобы устранить это неблагоприятное воздействие значений частных производных. Только знак производной может определить направление обновления веса; значение производной не имеет никакого эффекта на обновление веса. Размер изменения веса определяется отдельным значением обновления. Значение обновления для каждого веса и смещения увеличено факторным delt_inc каждый раз, когда производная функции производительности относительно того веса имеет то же самое, расписываются за две последовательных итерации. Значение обновления уменьшено факторным delt_dec каждый раз, когда производная относительно того веса изменяет знак от предыдущей итерации. Если производная является нулем, значение обновления остается то же самое. Каждый раз, когда веса колеблются, изменение веса уменьшается. Если вес продолжает изменяться в том же направлении для нескольких итераций, значения увеличений изменения веса. Полное описание алгоритма Rprop дано в [RiBr93].

Следующий код воссоздает предыдущую сеть и обучает ее с помощью алгоритма Rprop. Учебными параметрами для trainrp является epochs, show, goal, time, min_grad, max_fail, delt_inc, delt_dec, delta0 и deltamax. Первые восемь параметров были ранее обсуждены. Последние два являются начальным размером шага и максимальным размером шага, соответственно. Производительность Rprop не очень чувствительна к настройкам учебных параметров. Для примера ниже, учебные параметры оставляют в значениях по умолчанию:

p = [-1 -1 2 2;0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'trainrp');
net = train(net,p,t);
y = net(p)

rprop обычно намного быстрее, чем стандартный алгоритм быстрейшего спуска. Это также имеет хорошее свойство, что требуется только скромное увеличение требований к памяти. Действительно необходимо сохранить значения обновления для каждого веса и смещения, которое эквивалентно устройству хранения данных градиента.