Спуск градиента с импульсом и адаптивной обратной связью темпа обучения
net.trainFcn = 'traingdx'
[net,tr] = train(net,...)
traingdx является сетевой учебной функцией, которая обновляет вес и значения смещения согласно импульсу спуска градиента и адаптивному темпу обучения.
net.trainFcn = 'traingdx' устанавливает свойство сети trainFcn.
[net,tr] = train(net,...) обучает сеть с traingdx.
Обучение происходит согласно параметрам обучения traingdx, показанным здесь с их значениями по умолчанию:
net.trainParam.epochs | 1000 | Максимальное количество эпох, чтобы обучаться |
net.trainParam.goal | 0 | Цель производительности |
net.trainParam.lr | 0.01 | Темп обучения |
net.trainParam.lr_inc | 1.05 | Отношение, чтобы увеличить темп обучения |
net.trainParam.lr_dec | 0.7 | Отношение, чтобы уменьшить темп обучения |
net.trainParam.max_fail | 6 | Максимальные отказы валидации |
net.trainParam.max_perf_inc | 1.04 | Увеличение максимальной производительности |
net.trainParam.mc | 0.9 | Постоянный импульс |
net.trainParam.min_grad | 1e-5 | Минимальный градиент производительности |
net.trainParam.show | 25 | Эпохи между отображениями ( |
net.trainParam.showCommandLine | false | Сгенерируйте командную строку вывод |
net.trainParam.showWindow | true | Покажите учебный графический интерфейс пользователя |
net.trainParam.time | inf | Максимальное время, чтобы обучаться в секундах |
Можно создать стандартную сеть, которая использует traingdx с feedforwardnet или cascadeforwardnet. Подготовить пользовательскую сеть, которая будет обучена с traingdx,
Установите net.trainFcn на 'traingdx'. Это устанавливает net.trainParam на параметры traingdx по умолчанию.
Установите свойства net.trainParam на требуемые значения.
В любом случае, вызывая train с получившейся сетью обучает сеть с traingdx.
Смотрите help feedforwardnet и help cascadeforwardnet для примеров.
Функциональный traingdx комбинирует адаптивный темп обучения с обучением импульсу. Это вызывается таким же образом как traingda, за исключением того, что это имеет коэффициент импульса mc как дополнительный учебный параметр.
traingdx может обучить любую сеть пока ее вес, сетевой вход, и передаточные функции имеют производные функции.
Обратная связь используется, чтобы вычислить производные производительности perf относительно переменных X смещения и веса. Каждая переменная настроена согласно спуску градиента с импульсом,
dX = mc*dXprev + lr*mc*dperf/dX
где dXprev является предыдущим изменением в весе или смещении.
В течение каждой эпохи, если снижения производительности к цели, то темп обучения увеличен факторным lr_inc. Если увеличения производительности больше, чем факторный max_perf_inc, темп обучения настроен факторным lr_dec и изменением, которое увеличилось, производительность не сделана.
Обучение останавливается, когда любое из этих условий происходит:
Максимальное количество epochs (повторения) достигнуто.
Максимальная сумма time превышена.
Производительность минимизирована к goal.
Градиент производительности падает ниже min_grad.
Производительность валидации увеличила больше, чем времена max_fail с прошлого раза, когда это уменьшилось (при использовании валидации).
