Нормируйте через каждый канал для каждого наблюдения независимо
Операция нормализации экземпляра нормирует входные данные через каждый канал для каждого наблюдения независимо. Чтобы улучшить сходимость обучения сверточная нейронная сеть и уменьшать чувствительность к сетевым гиперпараметрам, используйте нормализацию экземпляра между сверткой и нелинейными операциями такой как relu
.
После нормализации операция переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.
instancenorm
функция применяет операцию нормализации слоя к dlarray
данные. Используя dlarray
объекты делают работу с высокими размерными данными легче, позволяя вам пометить размерности. Например, можно пометить, которому размерности соответствуют пространственный, время, канал, и обрабатывают размерности в пакетном режиме с помощью 'S'
T
C
, и 'B'
метки, соответственно. Для незаданных и других размерностей используйте 'U'
метка. Для dlarray
возразите функциям, которые действуют по конкретным размерностям, можно задать метки размерности путем форматирования dlarray
возразите непосредственно, или при помощи 'DataFormat'
опция.
Примечание
Применять нормализацию экземпляра в layerGraph
объект или Layer
массив, используйте instanceNormalizationLayer
.
применяет операцию нормализации экземпляра к входным данным dlY
= instancenorm(dlX
,offset
,scaleFactor
)dlX
и преобразовывает использование заданного смещения и масштабного коэффициента.
Функция нормирует по сгруппированным подмножествам 'S'
(пространственный), 'T'
(время) и 'U'
(незаданные) размерности dlX
для каждого наблюдения в 'C'
(канал) и 'B'
(пакетные) размерности, независимо.
Для бесформатных входных данных используйте 'DataFormat'
опция.
применяет операцию нормализации экземпляра к бесформатному dlY
= instancenorm(dlX
,offset
,scaleFactor
,'DataFormat',FMT)dlarray
объект dlX
с форматом, заданным FMT
использование любого из предыдущих синтаксисов. Выход dlY
бесформатный dlarray
объект с размерностями в том же порядке как dlX
. Например, 'DataFormat','SSCB'
задает данные для 2D входа изображений с форматом 'SSCB'
(пространственный, пространственный, канал, пакет).
задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, dlY
= instancenorm(___Name,Value
)'Epsilon',3e-5
устанавливает смещение отклонения к 3e-5
.
Операция нормализации экземпляра нормирует элементы xi входа первым вычислением среднего μI и отклонения σI2 по пространственным и измерениям времени для каждого канала в каждом наблюдении независимо. Затем это вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало.
Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией экземпляра, операция нормализации экземпляра дальнейшие сдвиги и масштабируют активации с помощью преобразования
где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.
batchnorm
| dlarray
| dlconv
| dlfeval
| dlgradient
| fullyconnect
| groupnorm
| layernorm
| relu