traingdm

Спуск градиента с обратной связью импульса

Синтаксис

net.trainFcn = 'traingdm' [net,tr] = train(net,...)

Описание

traingdm является сетевой учебной функцией, которая обновляет вес и значения смещения согласно спуску градиента с импульсом.

net.trainFcn = 'traingdm' устанавливает свойство сети trainFcn.

[net,tr] = train(net,...) обучает сеть с traingdm.

Обучение происходит согласно параметрам обучения traingdm, показанным здесь с их значениями по умолчанию:

`net.trainParam.epochs`	1000	Максимальное количество эпох, чтобы обучаться
`net.trainParam.goal`	0	Цель производительности
`net.trainParam.lr`	0.01	Темп обучения
`net.trainParam.max_fail`	6	Максимальные отказы валидации
`net.trainParam.mc`	0.9	Постоянный импульс
`net.trainParam.min_grad`	`1e-5`	Минимальный градиент производительности
`net.trainParam.show`	25	Эпохи между показом прогресса
`net.trainParam.showCommandLine`	`false`	Сгенерируйте командную строку вывод
`net.trainParam.showWindow`	`true`	Покажите учебный графический интерфейс пользователя
`net.trainParam.time`	`inf`	Максимальное время, чтобы обучаться в секундах

Сетевое использование

Можно создать стандартную сеть, которая использует traingdm с feedforwardnet или cascadeforwardnet. Подготовить пользовательскую сеть, которая будет обучена с traingdm,

Установите net.trainFcn на 'traingdm'. Это устанавливает net.trainParam на параметры traingdm по умолчанию.
Установите свойства net.trainParam на требуемые значения.

В любом случае, вызывая train с получившейся сетью обучает сеть с traingdm.

Смотрите help feedforwardnet и help cascadeforwardnet для примеров.

Больше о

свернуть все

Спуск градиента с импульсом

В дополнение к traingd существует три других изменения спуска градиента.

Спуск градиента с импульсом, реализованным traingdm, позволяет сети не только отвечать на локальный градиент, но также и к недавним трендам на ошибочной поверхности. Действуя как фильтр lowpass, импульс позволяет сети игнорировать маленькие функции на ошибочной поверхности. Без импульса сеть может застрять в мелком локальном минимуме. С импульсом сеть может скользить через такой минимум. Смотрите страницу 12-9 [HDB96] для обсуждения импульса.

Спуск градиента с импульсом зависит от двух учебных параметров. Параметр lr указывает на темп обучения, подобный простому спуску градиента. mc параметра является импульсом, постоянным, который задает объем импульса. mc установлен между 0 (никакой импульс) и значения близко к 1 (большой импульс). Импульс, постоянный из 1 результата в сети, которая абсолютно нечувствительна к локальному градиенту и, поэтому, не учится правильно.

p = [-1 -1 2 2; 0 5 0 5];
t = [-1 -1 1 1];
net = feedforwardnet(3,'traingdm');
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net = train(net,p,t);
y = net(p)

Попробуйте демонстрацию nnd12mo [HDB96] Проекта Нейронной сети за рисунок производительности пакетного алгоритма импульса.

Алгоритмы

traingdm может обучить любую сеть пока ее вес, сетевой вход, и передаточные функции имеют производные функции.

Обратная связь используется, чтобы вычислить производные производительности perf относительно переменных X смещения и веса. Каждая переменная настроена согласно спуску градиента с импульсом,

dX = mc*dXprev + lr*(1-mc)*dperf/dX

где dXprev является предыдущим изменением в весе или смещении.

Обучение останавливается, когда любое из этих условий происходит:

Максимальное количество epochs (повторения) достигнуто.
Максимальная сумма time превышена.
Производительность минимизирована к goal.
Градиент производительности падает ниже min_grad.
Производительность валидации увеличила больше, чем времена max_fail с прошлого раза, когда это уменьшилось (при использовании валидации).

Документация

traingdm

Синтаксис

Описание

Сетевое использование

Больше о

Спуск градиента с импульсом

Алгоритмы

Смотрите также

Представлено до R2006a

Документация Deep Learning Toolbox

Поддержка