Слой нормализации группы
Слой нормализации группы нормализует мини-пакет данных между сгруппированными подмножествами каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшить чувствительность к инициализации сети, используйте слои нормализации группы между сверточными слоями и нелинейностями, такими как слои ReLU.
После нормализации слой масштабирует вход с усвояемым масштабным коэффициентом γ и сдвигается на выучиваемое смещение β.
создает слой нормализации группы и устанавливает дополнительные layer
= groupNormalizationLayer(numGroups
,Name,Value
)'Epsilon'
, Параметры и инициализация, Темп обучения и регуляризация, и Name
свойства с использованием одного или нескольких аргументов пары "имя-значение". Можно задать несколько аргументы пары "имя-значение". Заключайте каждое имя свойства в кавычки.
Операция нормализации группы нормализует элементы xi входа, сначала вычисляя среднюю μG и отклонение2 в течение пространственного, временного и сгруппированного подмножеств размерностей канала для каждого наблюдения независимо. Затем он вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую стабильность, когда отклонение очень мала. Чтобы допустить возможность того, что входы с нулевым средним и единичным отклонением не оптимальны для операций, которые следуют за нормализацией группы, операция нормализации группы дополнительно смещает и масштабирует активации с помощью преобразования
где β смещения и γ масштабного коэффициента являются настраиваемыми параметрами, которые обновляются во время сетевого обучения.
[1] У, Юсинь и Кайминг Хэ. «Нормализация группы». ArXiv:1803.08494 [Cs], 11 июня 2018 года. http://arxiv.org/abs/1803.08494.
batchNormalizationLayer
| convolution2dLayer
| fullyConnectedLayer
| instanceNormalizationLayer
| layerNormalizationLayer
| reluLayer
| trainingOptions
| trainNetwork