traincgf

Обратная связь метода сопряженных градиентов с обновлениями Fletcher-надсмотрщиков

Синтаксис

net.trainFcn = 'traincgf' [net,tr] = train(net,...)

Описание

traincgf сетевая учебная функция, которая обновляет вес и значения смещения согласно обратной связи метода сопряженных градиентов с обновлениями Fletcher-надсмотрщиков.

net.trainFcn = 'traincgf' устанавливает сеть trainFcn свойство.

[net,tr] = train(net,...) обучает сеть с traincgf.

Обучение происходит согласно traincgf учебные параметры, показанные здесь с их значениями по умолчанию:

`net.trainParam.epochs`	1000	Максимальное количество эпох, чтобы обучаться
`net.trainParam.show`	25	Эпохи между отображениями (`NaN` ни для каких отображений)
`net.trainParam.showCommandLine`	`false`	Сгенерируйте командную строку выход
`net.trainParam.showWindow`	`true`	Покажите учебный графический интерфейс пользователя
`net.trainParam.goal`	0	Цель производительности
`net.trainParam.time`	`inf`	Максимальное время, чтобы обучаться в секундах
`net.trainParam.min_grad`	`1e-10`	Минимальный градиент производительности
`net.trainParam.max_fail`	6	Максимальные отказы валидации
`net.trainParam.searchFcn`	`'srchcha'`	Имя линии ищет стандартную программу, чтобы использовать

Параметры связаны с методами поиска линии (не все используемые во всех методах):

`net.trainParam.scal_tol`	20	Разделитесь на `delta` определить допуск к линейному поиску.
`net.trainParam.alpha`	0.001	Масштабный коэффициент, который определяет достаточное сокращение `perf`
`net.trainParam.beta`	0.1	Масштабный коэффициент, который определяет достаточно большой размер шага
`net.trainParam.delta`	0.01	Начальный размер шага на шаге местоположения интервала
`net.trainParam.gama`	0.1	Параметр, чтобы избежать маленьких сокращений производительности, обычно устанавливайте на `0.1` (см. `srch_cha`)
`net.trainParam.low_lim`	0.1	Нижний предел на изменении в размере шага
`net.trainParam.up_lim`	0.5	Верхний предел изменения в размере шага
`net.trainParam.maxstep`	100	Максимальная длина шага
`net.trainParam.minstep`	`1.0e-6`	Минимальная длина шага
`net.trainParam.bmax`	26	Максимальный размер шага

Сетевое использование

Можно создать стандартную сеть, которая использует traincgf с feedforwardnet или cascadeforwardnet.

Подготовить пользовательскую сеть, которая будет обучена с traincgf,

Установите net.trainFcn к 'traincgf'. Это устанавливает net.trainParam к traincgfпараметры по умолчанию.
Установите net.trainParam свойства к требуемым значениям.

В любом случае, вызывая train с получившейся сетью обучает сеть с traincgf.

Примеры

свернуть все

Обучите нейронную сеть Используя `traincgf` Обучите функцию

Скрипт Open Live Script

В этом примере показано, как обучить нейронную сеть с помощью traincgf обучите функцию.

Здесь нейронная сеть обучена, чтобы предсказать содержания жира в организме.

[x, t] = bodyfat_dataset;
net = feedforwardnet(10, 'traincgf');
net = train(net, x, t);
y = net(x);

Больше о

свернуть все

Алгоритмы метода сопряженных градиентов

Все алгоритмы метода сопряженных градиентов начинаются путем поиска в направлении наискорейшего спуска (отрицательный из градиента) на первой итерации.

$p_{0} = - g_{0}$

Поиск линии затем выполняется, чтобы определить оптимальное расстояние, чтобы пройти текущее поисковое направление:

$x_{k + 1} = x_{k} α_{k} p_{k}$

Затем следующее поисковое направление определяется так, чтобы это было сопряжено к предыдущим поисковым направлениям. Общая процедура для определения нового поискового направления должна объединить новое направление наискорейшего спуска с предыдущим поисковым направлением:

$p_{k} = - g_{k} + β_{k} p_{k - 1}$

Различные версии алгоритма метода сопряженных градиентов отличает способ, которым вычисляется постоянный β_k. Поскольку Fletcher-надсмотрщики обновляются, процедура

$β_{k} = \frac{g_{k}^{T} g_{k}}{g_{k - 1}^{T} g_{k - 1}}$

Это - отношение нормы, в квадрате из текущего градиента к норме, в квадрате из предыдущего градиента.

См. [FlRe64] или [HDB96] для обсуждения алгоритма метода сопряженных градиентов Fletcher-надсмотрщиков.

Алгоритмы метода сопряженных градиентов обычно намного быстрее, чем переменная обратная связь скорости обучения и иногда быстрее, чем trainrp, несмотря на то, что результаты варьируются от одной проблемы до другого. Алгоритмы метода сопряженных градиентов требуют только немного большего количества устройства хранения данных, чем более простые алгоритмы. Поэтому эти алгоритмы хороши для сетей с большим количеством весов.

Попробуйте демонстрацию Проекта Нейронной сети nnd12cg [HDB96] для рисунка производительности алгоритма метода сопряженных градиентов.

Алгоритмы

traincgf может обучить любую сеть пока ее вес, сетевой вход, и передаточные функции имеют производные функции.

Обратная связь используется, чтобы вычислить производные производительности perf относительно веса и переменных X смещения. Каждая переменная настроена согласно следующему:

X = X + a*dX;

где dX поисковое направление. Параметр a выбран, чтобы минимизировать производительность вдоль поискового направления. Поиск линии функционирует searchFcn используется, чтобы определить местоположение минимальной точки. Первое поисковое направление является отрицанием градиента производительности. В последующих итерациях поисковое направление вычисляется из нового градиента и предыдущего поискового направления, согласно формуле

dX = -gX + dX_old*Z;

где gX градиент. Параметр Z может быть вычислен несколькими различными способами. Для изменения Fletcher-надсмотрщиков метода сопряженных градиентов это вычисляется согласно

Z = normnew_sqr/norm_sqr;

где norm_sqr квадрат нормы предыдущего градиента и normnew_sqr квадрат нормы текущего градиента. Смотрите страницу 78 Шкал (Введение в Нелинейную Оптимизацию) для более детального обсуждения алгоритма.

Обучение останавливается, когда любое из этих условий происходит:

Максимальное количество epochs (повторения) достигнуты.
Максимальная сумма time превышен.
Производительность минимизирована к goal.
Градиент производительности падает ниже min_grad.
Производительность валидации увеличила больше, чем max_fail времена с прошлого раза это уменьшилось (при использовании валидации).

Ссылки

Шкалы, L.E., введение в нелинейную оптимизацию, Нью-Йорк, Springer-Verlag, 1985

Документация

traincgf

Синтаксис

Описание

Сетевое использование

Примеры

Обучите нейронную сеть Используя `traincgf` Обучите функцию

Больше о

Алгоритмы метода сопряженных градиентов

Алгоритмы

Ссылки

Смотрите также

Представлено до R2006a

Документация Deep Learning Toolbox

Поддержка

Документация

traincgf

Синтаксис

Описание

Сетевое использование

Примеры

Обучите нейронную сеть Используя traincgf Обучите функцию

Больше о

Алгоритмы метода сопряженных градиентов

Алгоритмы

Ссылки

Смотрите также

Представлено до R2006a

Документация Deep Learning Toolbox

Поддержка

Обучите нейронную сеть Используя `traincgf` Обучите функцию