Нормализуйтесь по всем каналам для каждого наблюдения независимо
Операция нормализации слоя нормализует входные данные по всем каналам для каждого наблюдения независимо. Чтобы ускорить обучение рецидивирующих и многослойных нейронных сетей перцептрона и уменьшить чувствительность к инициализации сети, используйте нормализацию слоя после выученных операций, таких как LSTM и полностью соедините операции.
После нормализации операция смещает вход на усвояемое смещение β и масштабирует его на усвояемое γ масштабного фактора.
layernorm
функция применяет операцию нормализации слоя к dlarray
данные. Использование dlarray
облегчает работу с данными высоких размерностей, позволяя пометить размеры. Для примера можно пометить, какие размерности соответствуют пространственным, временным, канальным и пакетным размерностям, используя 'S'
, 'T'
, 'C'
, и 'B'
метки, соответственно. Для неопределенных и других размерностей используйте 'U'
метка. Для dlarray
функции объекта, которые работают над конкретными размерностями, можно задать метки размера путем форматирования dlarray
объект непосредственно, или при помощи 'DataFormat'
опция.
Примечание
Применение нормализации слоя в layerGraph
объект или Layer
массив, использование layerNormalizationLayer
.
применяет операцию нормализации слоя к входным данным dlY
= layernorm(dlX
,offset
,scaleFactor
)dlX
и преобразуется с использованием заданных смещения и масштабного коэффициента.
Функция нормализуется по 'S'
(пространственный), 'T'
(время), 'C'
(канал), и 'U'
(не заданные) размерности dlX
для каждого наблюдения в 'B'
(пакетная) размерность, независимо.
Для неформатированных входных данных используйте 'DataFormat'
опция.
применяет операцию нормализации слоя к неформатированному dlY
= layernorm(dlX
,offset
,scaleFactor
,'DataFormat',FMT)dlarray
dlX объекта
с форматом, заданным FMT
использование любого из предыдущих синтаксисов. Область выхода dlY
является неформатированным dlarray
объект с размерностями в том же порядке, что и dlX
. Для примера, 'DataFormat','SSCB'
задает данные для 2-D изображения входа с форматом 'SSCB'
(пространственный, пространственный, канальный, пакетный).
Чтобы задать формат шкалы и смещения, используйте 'ScaleFormat'
и 'OffsetFormat'
опции, соответственно.
[
задает опции, использующие один или несколько аргументы пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Для примера, dlY
] = layernorm(___,Name,Value
)'Epsilon',1e-4
устанавливает значение эпсилона равным 1e-4
.
Операция нормализации слоя нормализует элементы xi входа, сначала вычисляя среднюю μL и отклонение2 по пространственным, временным и канальным размерностям для каждого наблюдения независимо. Затем он вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую стабильность, когда отклонение очень мала.
Чтобы допустить возможность того, что входы с нулевым средним и единичным отклонением не оптимальны для операций, следующих за нормализацией слоя, операция нормализации слоя дополнительно смещает и масштабирует активации с помощью преобразования
где β смещения и γ масштабного коэффициента являются настраиваемыми параметрами, которые обновляются во время сетевого обучения.
batchnorm
| dlarray
| dlconv
| dlfeval
| dlgradient
| fullyconnect
| groupnorm
| relu