Многослойные сети обычно используют сигмоидные передаточные функции в скрытых слоях. Эти функции часто называют «сдвиговыми» функциями, поскольку они сжимают бесконечный входной диапазон в конечный выходной диапазон. Сигмоидные функции характеризуются тем, что их наклоны должны приближаться к нулю по мере увеличения входного сигнала. Это вызывает проблему, когда используется самый крутой спуск для тренировки многослойной сети с сигмоидальными функциями, потому что градиент может иметь очень малую величину и, следовательно, вызывать небольшие изменения в весах и смещениях, даже если веса и смещения далеки от их оптимальных значений.

Целью обучающего алгоритма упругого обратного распространения (Rprop) является устранение этих вредных эффектов величин частных производных. Только знак производной может определить направление обновления веса; величина производной не влияет на обновление веса. Размер изменения веса определяется отдельным значением обновления. Значение обновления для каждого веса и смещения увеличивается на коэффициент delt_inc всякий раз, когда производная функции производительности по отношению к этому весу имеет один и тот же знак для двух последовательных итераций. Значение обновления уменьшается на коэффициент delt_dec всякий раз, когда производная по отношению к этому весу меняет знак из предыдущей итерации. Если производная равна нулю, значение обновления остается прежним. Всякий раз, когда веса колеблются, изменение веса уменьшается. Если вес продолжает изменяться в одном и том же направлении для нескольких итераций, величина изменения веса увеличивается. Полное описание алгоритма Rprop приведено в [RiBr93].

Следующий код воссоздает предыдущую сеть и обучает ее с помощью алгоритма Rprop. Параметры обучения для trainrp являются epochs, show, goal, time, min_grad, max_fail, delt_inc, delt_dec, delta0, и deltamax. Первые восемь параметров обсуждались ранее. Последние два являются начальным размером шага и максимальным размером шага соответственно. Производительность Rprop не очень чувствительна к настройкам параметров обучения. В приведенном ниже примере параметры обучения остаются на значениях по умолчанию:

p = [-1 -1 2 2;0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'trainrp');
net = train(net,p,t);
y = net(p)

rprop обычно намного быстрее, чем стандартный алгоритм самого крутого спуска. Он также обладает тем хорошим свойством, что требует лишь скромного увеличения требований к памяти. Необходимо сохранить значения обновления для каждого веса и смещения, что эквивалентно сохранению градиента.