Нормируйте через все каналы для каждого наблюдения независимо
Операция нормализации слоя нормирует входные данные через все каналы для каждого наблюдения независимо. Чтобы ускорить обучение текущих и многоуровневых perceptron нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте нормализацию слоя после learnable операций, таких как LSTM и полностью соедините операции.
После нормализации операция переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.
layernorm
функция применяет операцию нормализации слоя к dlarray
данные. Используя dlarray
объекты делают работу с высокими размерными данными легче, позволяя вам пометить размерности. Например, можно пометить, которому размерности соответствуют пространственный, время, канал, и обрабатывают размерности в пакетном режиме с помощью 'S'
T
C
, и 'B'
метки, соответственно. Для незаданных и других размерностей используйте 'U'
метка. Для dlarray
возразите функциям, которые действуют по конкретным размерностям, можно задать метки размерности путем форматирования dlarray
возразите непосредственно, или при помощи 'DataFormat'
опция.
Примечание
Применять нормализацию слоя в layerGraph
объект или Layer
массив, используйте layerNormalizationLayer
.
применяет операцию нормализации слоя к входным данным dlY
= layernorm(dlX
,offset
,scaleFactor
)dlX
и преобразовывает использование заданного смещения и масштабного коэффициента.
Функция нормирует по 'S'
(пространственный), 'T'
(время), 'C'
(канал) и 'U'
(незаданные) размерности dlX
для каждого наблюдения в 'B'
(пакетная) размерность, независимо.
Для бесформатных входных данных используйте 'DataFormat'
опция.
применяет операцию нормализации слоя к бесформатному dlY
= layernorm(dlX
,offset
,scaleFactor
,'DataFormat',FMT)dlarray
объект dlX
с форматом, заданным FMT
использование любого из предыдущих синтаксисов. Выход dlY
бесформатный dlarray
объект с размерностями в том же порядке как dlX
. Например, 'DataFormat','SSCB'
задает данные для 2D входа изображений с форматом 'SSCB'
(пространственный, пространственный, канал, пакет).
Чтобы задать формат шкалы и возместить, используйте 'ScaleFormat'
и 'OffsetFormat'
опции, соответственно.
[
задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, dlY
] = layernorm(___,Name,Value
)'Epsilon',1e-4
устанавливает значение эпсилона к 1e-4
.
Операция нормализации слоя нормирует элементы xi входа первым вычислением среднего μL и отклонения σL2 по пространственному, время и размерности канала для каждого наблюдения независимо. Затем это вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало.
Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией слоя, операция нормализации слоя дальнейшие сдвиги и масштабируют активации с помощью преобразования
где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.
batchnorm
| dlarray
| dlconv
| dlfeval
| dlgradient
| fullyconnect
| groupnorm
| relu