Нормализуйте между сгруппированными подмножествами каналов для каждого наблюдения независимо
Операция нормализации группы нормализует входные данные между сгруппированными подмножествами каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшить чувствительность к инициализации сети, используйте нормализацию группы между свертками и нелинейными операциями, такими как relu
.
После нормализации операция смещает вход на усвояемое смещение β и масштабирует его на усвояемое γ масштабного фактора.
groupnorm
функция применяет операцию нормализации группы к dlarray
данные. Использование dlarray
облегчает работу с данными высоких размерностей, позволяя пометить размеры. Для примера можно пометить, какие размерности соответствуют пространственным, временным, канальным и пакетным размерностям, используя 'S'
, 'T'
, 'C'
, и 'B'
метки, соответственно. Для неопределенных и других размерностей используйте 'U'
метка. Для dlarray
функции объекта, которые работают над конкретными размерностями, можно задать метки размера путем форматирования dlarray
объект непосредственно, или при помощи 'DataFormat'
опция.
Примечание
Чтобы применить нормализацию группы в layerGraph
объект или Layer
массив, использование groupNormalizationLayer
.
применяет операцию нормализации группы к входным данным dlY
= groupnorm(dlX
,numGroups
,offset
,scaleFactor
)dlX
использование заданного количества групп и преобразований с использованием заданных смещения и масштабного коэффициента.
Функция нормализуется по сгруппированным подмножествам 'C'
(канальная) размерность и 'S'
(пространственный), 'T'
(время), и 'U'
(не заданные) размерности dlX
для каждого наблюдения в 'B'
(пакетная) размерность, независимо.
Для неформатированных входных данных используйте 'DataFormat'
опция.
применяет операцию нормализации группы к неформатированному dlY
= groupnorm(dlX
,numGroups
,offset
,scaleFactor
,'DataFormat',FMT)dlarray
dlX объекта
с форматом, заданным FMT
использование любого из предыдущих синтаксисов. Область выхода dlY
является неформатированным dlarray
объект с размерностями в том же порядке, что и dlX
. Для примера, 'DataFormat','SSCB'
задает данные для 2-D изображения входа с форматом 'SSCB'
(пространственный, пространственный, канальный, пакетный).
задает опции, использующие один или несколько аргументы пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Для примера, dlY
= groupnorm(___Name,Value
)'Epsilon',3e-5
устанавливает смещение отклонения равным 3e-5
.
Операция нормализации группы нормализует элементы xi входа, сначала вычисляя среднюю μG и отклонение2 в течение пространственного, временного и сгруппированного подмножеств размерностей канала для каждого наблюдения независимо. Затем он вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую стабильность, когда отклонение очень мала. Чтобы допустить возможность того, что входы с нулевым средним и единичным отклонением не оптимальны для операций, которые следуют за нормализацией группы, операция нормализации группы дополнительно смещает и масштабирует активации с помощью преобразования
где β смещения и γ масштабного коэффициента являются настраиваемыми параметрами, которые обновляются во время сетевого обучения.
batchnorm
| dlarray
| dlconv
| dlfeval
| dlgradient
| fullyconnect
| instancenorm
| layernorm
| relu