Байесова обратная связь регуляризации
net.trainFcn = 'trainbr'
[net,tr] = train(net,...)
trainbr
сетевая учебная функция, которая обновляет вес и значения смещения согласно оптимизации Levenberg-Marquardt. Это минимизирует комбинацию квадратичных невязок и весов, и затем определяет правильную комбинацию, чтобы произвести сеть, которая делает вывод хорошо. Процесс называется Байесовой регуляризацией.
net.trainFcn = 'trainbr'
устанавливает сеть trainFcn
свойство.
[net,tr] = train(net,...)
обучает сеть с trainbr
.
Обучение происходит согласно trainbr
учебные параметры, показанные здесь с их значениями по умолчанию:
net.trainParam.epochs | 1000
| Максимальное количество эпох, чтобы обучаться |
net.trainParam.goal | 0
| Цель производительности |
net.trainParam.mu | 0.005
| Параметр корректировки Marquardt |
net.trainParam.mu_dec | 0.1
| Фактор уменьшения для |
net.trainParam.mu_inc | 10
| Фактор увеличения для |
net.trainParam.mu_max | 1e10 | Максимальное значение для |
net.trainParam.max_fail | inf | Максимальные отказы валидации |
net.trainParam.min_grad | 1e-7 | Минимальный градиент производительности |
net.trainParam.show | 25
| Эпохи между отображениями ( |
net.trainParam.showCommandLine | false | Сгенерируйте командную строку выход |
net.trainParam.showWindow | true | Покажите учебный графический интерфейс пользователя |
net.trainParam.time | inf | Максимальное время, чтобы обучаться в секундах |
Остановки валидации отключены по умолчанию (max_fail = inf
) так, чтобы обучение могло продолжиться, пока оптимальная комбинация ошибок и весов не найдена. Однако некоторая минимизация веса/смещения может все еще быть достигнута с более короткими учебными временами, если валидация включена установкой max_fail
к 6 или некоторое другое строго положительное значение.
Можно создать стандартную сеть, которая использует trainbr
с feedforwardnet
или cascadeforwardnet
. Подготовить пользовательскую сеть, которая будет обучена с trainbr
,
Установите NET.trainFcn
к 'trainbr'
. Это устанавливает NET.trainParam
к trainbr
параметры по умолчанию.
Установите NET.trainParam
свойства к требуемым значениям.
В любом случае, вызывая train
с получившейся сетью обучает сеть с trainbr
. Смотрите feedforwardnet
и cascadeforwardnet
для примеров.
Вот проблема, состоящая из входных параметров p
и цели t
быть решенным с сетью. Это включает подбор кривой шумной синусоиде.
p = [-1:.05:1]; t = sin(2*pi*p)+0.1*randn(size(p));
Сеть feedforward создается со скрытым слоем 2 нейронов.
net = feedforwardnet(2,'trainbr');
Здесь сеть обучена и протестирована.
net = train(net,p,t); a = net(p)
Эта функция использует якобиан в вычислениях, который принимает, что производительность является средним значением или суммой квадратичных невязок. Поэтому сети, обученные с этой функцией, должны использовать любого mse
или sse
функция производительности.
trainbr
может обучить любую сеть пока ее вес, сетевой вход, и передаточные функции имеют производные функции.
Байесова регуляризация минимизирует линейную комбинацию квадратичных невязок и весов. Это также изменяет линейную комбинацию так, чтобы в конце обучения получившейся сети имел хорошие качества обобщения. Смотрите Маккея (Нейронный Расчет, Издание 4, № 3, 1992, стр 415 - 447) и Предвидите и Хейган (Продолжения Международной Объединенной Конференции по Нейронным сетям, июнь 1997) для более детальных обсуждений Байесовой регуляризации.
Эта Байесова регуляризация происходит в рамках алгоритма Levenberg-Marquardt. Обратная связь используется, чтобы вычислить якобиевский jX
из производительности perf
относительно веса и переменных X
смещения. Каждая переменная настроена согласно Levenberg-Marquardt,
jj = jX * jX je = jX * E dX = -(jj+I*mu) \ je
где E
все ошибки и I
единичная матрица.
Адаптивное значение mu
увеличен на mu_inc
до изменения, показанного выше результатов в уменьшаемом значении производительности. Изменение затем внесено в сеть и mu
уменьшен mu_dec
.
Обучение останавливается, когда любое из этих условий происходит:
Максимальное количество epochs
(повторения) достигнуты.
Максимальная сумма time
превышен.
Производительность минимизирована к goal
.
Градиент производительности падает ниже min_grad
.
mu
превышает mu_max
.
[1] Маккей, Дэвид Дж. К. "Байесова интерполяция". Нейронный расчет. Издание 4, № 3, 1992, стр 415–447.
[2] Предвидите, Ф. Дэн и Мартин Т. Хейган. "Приближение ньютона гаусса к Байесовому изучению". Продолжения Международной Объединенной Конференции по Нейронным сетям, июнь 1997.
cascadeforwardnet
| feedforwardnet
| trainbfg
| traincgb
| traincgf
| traincgp
| traingda
| traingdm
| traingdx
| trainlm
| trainrp
| trainscg