Слой нормализации группы
Слой нормализации группы делит каналы входных данных в группы и нормирует активации через каждую группу. Чтобы ускорить обучение сверточных нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации группы между сверточными слоями и нелинейностью, такой как слои ReLU. Можно выполнить нормализацию экземпляра и нормализацию слоя путем определения соответствующего номера групп.
Можно использовать слой нормализации группы вместо слоя нормализации партии. Это особенно полезно, когда обучение с небольшими пакетными размерами, когда оно может увеличить устойчивость обучения.
Слой сначала нормирует активации каждой группы путем вычитания среднего значения группы и деления на стандартное отклонение группы. Затем слой переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.
создает слой нормализации группы, который делит каналы на вход слоя в layer
= groupNormalizationLayer(numGroups
)numGroups
группы и нормируют через каждую группу.
создает слой нормализации группы и устанавливает дополнительную Нормализацию, Параметры и Инициализацию, Изучите Уровень и Регуляризацию и layer
= groupNormalizationLayer(numGroups
,Name,Value
)Name
свойства с помощью одного или нескольких аргументов пары "имя-значение". Можно задать несколько аргументов пары "имя-значение". Заключите каждое имя свойства в кавычки.
Нормализация группы нормирует свои входные параметры xi на первое вычисление среднего μg и отклонения σg2 по заданным группам каналов. Затем это вычисляет нормированные активации как
Здесь, ϵ (свойство Epsilon
) улучшает числовую устойчивость, когда отклонение группы очень мало. Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для слоя, который следует за слоем нормализации группы, слой нормализации группы дальнейшие сдвиги и масштабирует активации как
Здесь, смещение β и масштабный коэффициент γ (Offset
и Scale
свойства), настраиваемые параметры, которые обновляются во время сетевого обучения.
[1] Ву, Yuxin и Кэйминг Хэ. “Нормализация группы”. ArXiv:1803.08494 [Cs], 11 июня 2018. http://arxiv.org/abs/1803.08494.
batchNormalizationLayer
| convolution2dLayer
| fullyConnectedLayer
| reluLayer
| trainingOptions
| trainNetwork