Слой нормализации слоя
Слой нормализации слоя нормирует мини-пакет данных через все каналы для каждого наблюдения независимо. Чтобы ускорить обучение текущих и многоуровневых perceptron нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации слоя после learnable слоев, таких как LSTM и полносвязные слоя.
После нормализации слой масштабирует вход с learnable масштабным коэффициентом γ и переключает learnable смещением β.
создает слой нормализации слоя.layer
= layerNormalizationLayer
устанавливает дополнительный layer
= layerNormalizationLayer(Name,Value)
Epsilon
, Параметры и инициализация, изучите уровень и регуляризацию и Name
свойства с помощью одной или нескольких пар "имя-значение". Например, layerNormalizationLayer('Name','layernorm')
создает слой нормализации слоя с именем 'layernorm'
.
Операция нормализации слоя нормирует элементы xi входа первым вычислением среднего μL и отклонения σL2 по пространственному, время и размерности канала для каждого наблюдения независимо. Затем это вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало.
Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией слоя, операция нормализации слоя дальнейшие сдвиги и масштабируют активации с помощью преобразования
где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.
[1] Ba, Джимми Лэй, Джейми Райан Кирос и Джеффри Э. Хинтон. "Нормализация слоя". arXiv предварительно распечатывают arXiv:1607.06450 (2016).
batchNormalizationLayer
| convolution2dLayer
| groupNormalizationLayer
| reluLayer
| trainingOptions
| trainNetwork