Нормируйте активации через группы каналов
Операция нормализации группы делит каналы входных данных в группы и нормирует активации через каждую группу. Чтобы ускорить обучение сверточных нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте нормализацию группы между сверткой и нелинейными операциями такой как relu. Можно выполнить нормализацию экземпляра и нормализацию слоя путем определения соответствующего номера групп.
Примечание
Эта функция применяет операцию нормализации группы к dlarray данные. Если вы хотите применить нормализацию партии. в layerGraph объект или Layer массив, используйте следующий слой:
dlY = groupnorm(dlX,numGroups,offset,scaleFactor)dlX через группы каналов, заданных numGroups, затем применяет масштабный коэффициент и смещение к каждому каналу.
Нормированная активация вычисляется с помощью следующей формулы:
где xi является входной активацией, μg и σg2 являются средним значением на группу и отклонением, соответственно, и ε является маленькой константой. Среднее значение и отклонение вычисляются на наблюдение по всему 'S' (пространственный), 'T' (время) и 'U' (незаданные) размерности в dlX для каждой группы каналов.
Нормированная активация возмещается и масштабируется согласно следующей формуле:
Смещение β и масштабный коэффициент γ задано с offset и scaleFactor аргументы.
Вход dlX отформатированный dlarray с метками размерности. Выход dlY отформатированный dlarray с той же размерностью помечает как dlX.
dlY = groupnorm(___,'DataFormat',FMT)FMT когда dlX не отформатированный dlarray в дополнение к входным параметрам в предыдущих синтаксисах. Выход dlY бесформатный dlarray с той же размерностью заказывают как dlX.
dlY = groupnorm(___Name,Value)'Epsilon',3e-5 устанавливает смещение отклонения.
batchnorm | dlarray | dlconv | dlfeval | dlgradient | fullyconnect | relu
