Многослойные сети обычно используют сигмоидные передаточные функции в скрытых слоях. Эти функции часто называются «квасящими» функциями, потому что они сжимают бесконечную входную область значений в конечную выходную область значений. Сигмоидные функции характеризуются тем, что их склоны должны приближаться к нулю, когда вход становится большим. Это вызывает проблему, когда вы используете наискорейший спуск для обучения многослойной сети с сигмоидными функциями, потому что градиент может иметь очень маленькую величину и, следовательно, вызывать небольшие изменения в весах и смещениях, хотя веса и смещения далеки от их оптимальных значений.

Цель алгоритма настройки с упругим обратным распространением (Rprop) состоит в том, чтобы исключить эти вредные эффекты величин частных производных. Только знак производной может определить направление обновления веса; величина производной не влияет на обновление веса. Размер изменения веса определяется отдельным значением обновления. Значение обновления для каждого веса и смещения увеличивается в несколько раз delt_inc всякий раз, когда производная функции эффективности относительно этого веса имеет один и тот же знак для двух последовательных итераций. Значение обновления уменьшается на множитель delt_dec всякий раз, когда производная относительно этого веса изменяет знак от предыдущей итерации. Если производная равна нулю, значение обновления остается неизменным. Всякий раз, когда веса колеблются, изменение веса уменьшается. Если вес продолжает изменяться в том же направлении в течение нескольких итераций, величина изменения веса увеличивается. Полное описание алгоритма Rprop приведено в [RiBr93].

Следующий код воссоздает предыдущую сеть и обучает ее с помощью алгоритма Rprop. Параметры обучения для trainrp являются epochs, show, goal, time, min_grad, max_fail, delt_inc, delt_dec, delta0, и deltamax. Первые восемь параметров обсуждались ранее. Последние два являются начальным размером шага и максимальным размером шага, соответственно. Эффективность Rprop не очень чувствительна к настройкам параметров обучения. В приведенном ниже примере параметры обучения остаются равными значениям по умолчанию:

p = [-1 -1 2 2;0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'trainrp');
net = train(net,p,t);
y = net(p)

rprop обычно намного быстрее, чем стандартный алгоритм наискорейшего спуска. Он также имеет приятное свойство, что требует лишь скромного увеличения требований к памяти. Необходимо хранить значения обновлений для каждого веса и смещения, что эквивалентно хранению градиента.