Нормализуйте по каждому каналу для каждого наблюдения независимо
Операция образца нормализации нормализует входные данные по каждому каналу для каждого наблюдения независимо. Чтобы улучшить сходимость настройки сверточной нейронной сети и уменьшить чувствительность к сетевым гиперпараметрам, используйте нормализацию образца между сверткой и нелинейными операциями, такими как relu
.
После нормализации операция смещает вход на усвояемое смещение β и масштабирует его на усвояемое γ масштабного фактора.
instancenorm
функция применяет операцию нормализации слоя к dlarray
данные. Использование dlarray
облегчает работу с данными высоких размерностей, позволяя пометить размеры. Для примера можно пометить, какие размерности соответствуют пространственным, временным, канальным и пакетным размерностям, используя 'S'
, 'T'
, 'C'
, и 'B'
метки, соответственно. Для неопределенных и других размерностей используйте 'U'
метка. Для dlarray
функции объекта, которые работают над конкретными размерностями, можно задать метки размера путем форматирования dlarray
объект непосредственно, или при помощи 'DataFormat'
опция.
Примечание
Применение нормализации образца в layerGraph
объект или Layer
массив, использование instanceNormalizationLayer
.
применяет операцию нормализации образца к входным данным dlY
= instancenorm(dlX
,offset
,scaleFactor
)dlX
и преобразуется с использованием заданных смещения и масштабного коэффициента.
Функция нормализуется по сгруппированным подмножествам 'S'
(пространственный), 'T'
(время), и 'U'
(не заданные) размерности dlX
для каждого наблюдения в 'C'
(канал) и 'B'
(пакетные) размерности, независимо.
Для неформатированных входных данных используйте 'DataFormat'
опция.
применяет операцию нормализации образца к неформатированному dlY
= instancenorm(dlX
,offset
,scaleFactor
,'DataFormat',FMT)dlarray
dlX объекта
с форматом, заданным FMT
использование любого из предыдущих синтаксисов. Область выхода dlY
является неформатированным dlarray
объект с размерностями в том же порядке, что и dlX
. Для примера, 'DataFormat','SSCB'
задает данные для 2-D изображения входа с форматом 'SSCB'
(пространственный, пространственный, канальный, пакетный).
задает опции, использующие один или несколько аргументы пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Для примера, dlY
= instancenorm(___Name,Value
)'Epsilon',3e-5
устанавливает смещение отклонения равным 3e-5
.
Операция образца нормализации нормализует элементы xi из входа, сначала вычисляя среднее μI и отклонение2 по пространственным и временным размерностям для каждого канала в каждом наблюдении независимо. Затем он вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую стабильность, когда отклонение очень мала.
Чтобы допустить возможность того, что входы с нулевым средним и единичным отклонением не оптимальны для операций, которые следуют за нормализацией образца, операция нормализации образца дополнительно смещает и масштабирует активации с помощью преобразования
где β смещения и γ масштабного коэффициента являются настраиваемыми параметрами, которые обновляются во время сетевого обучения.
batchnorm
| dlarray
| dlconv
| dlfeval
| dlgradient
| fullyconnect
| groupnorm
| layernorm
| relu