Слой нормализации группы
Слой нормализации группы нормирует мини-пакет данных через сгруппированные подмножества каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации группы между сверточными слоями и нелинейностью, такой как слои ReLU.
После нормализации слой масштабирует вход с learnable масштабным коэффициентом γ и переключает learnable смещением β.
создает слой нормализации группы и устанавливает дополнительный layer
= groupNormalizationLayer(numGroups
,Name,Value
)'Epsilon'
, Параметры и инициализация, изучите уровень и регуляризацию и Name
свойства с помощью одного или нескольких аргументов пары "имя-значение". Можно задать несколько аргументов пары "имя-значение". Заключите каждое имя свойства в кавычки.
Операция нормализации группы нормирует элементы xi входа первым вычислением среднего μG и отклонения σG2 по пространственному, время и сгруппированные подмножества размерностей канала для каждого наблюдения независимо. Затем это вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало. Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией группы, операция нормализации группы дальнейшие сдвиги и масштабируют активации с помощью преобразования
где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.
[1] Ву, Yuxin и Кэйминг Хэ. “Нормализация группы”. ArXiv:1803.08494 [Cs], 11 июня 2018. http://arxiv.org/abs/1803.08494.
batchNormalizationLayer
| convolution2dLayer
| fullyConnectedLayer
| instanceNormalizationLayer
| layerNormalizationLayer
| reluLayer
| trainingOptions
| trainNetwork