Exponenta Banner

groupnorm

Нормируйте через сгруппированные подмножества каналов для каждого наблюдения независимо

свернуть все на странице

    Синтаксис

    dlY = groupnorm(dlX,numGroups,offset,scaleFactor)
    dlY = groupnorm(dlX,numGroups,offset,scaleFactor,'DataFormat',FMT)
    dlY = groupnorm(___Name,Value)

    Описание

    Операция нормализации группы нормирует входные данные через сгруппированные подмножества каналов для каждого наблюдения независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте нормализацию группы между сверткой и нелинейными операциями такой как relu.

    После нормализации операция переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.

    groupnorm функция применяет операцию нормализации группы к dlarray данные. Используя dlarray объекты делают работу с высокими размерными данными легче, позволяя вам пометить размерности. Например, можно пометить, которому размерности соответствуют пространственный, время, канал, и обрабатывают размерности в пакетном режиме с помощью 'S'TC, и 'B' метки, соответственно. Для незаданных и других размерностей используйте 'U' метка. Для dlarray возразите функциям, которые действуют по конкретным размерностям, можно задать метки размерности путем форматирования dlarray возразите непосредственно, или при помощи 'DataFormat' опция.

    Примечание

    Применять нормализацию группы в layerGraph объект или Layer массив, используйте groupNormalizationLayer.

    пример

    dlY = groupnorm(dlX,numGroups,offset,scaleFactor) применяет операцию нормализации группы к входным данным dlX использование конкретного количества групп и преобразовывает использование заданного смещения и масштабного коэффициента.

    Функция нормирует по сгруппированным подмножествам 'C' (канал) размерность и 'S' (пространственный), 'T' (время) и 'U' (незаданные) размерности dlX для каждого наблюдения в 'B' (пакетная) размерность, независимо.

    Для бесформатных входных данных используйте 'DataFormat' опция.

    пример

    dlY = groupnorm(dlX,numGroups,offset,scaleFactor,'DataFormat',FMT) применяет операцию нормализации группы к бесформатному dlarray объект dlX с форматом, заданным FMT использование любого из предыдущих синтаксисов. Выход dlY бесформатный dlarray объект с размерностями в том же порядке как dlX. Например, 'DataFormat','SSCB' задает данные для 2D входа изображений с форматом 'SSCB' (пространственный, пространственный, канал, пакет).

    пример

    dlY = groupnorm(___Name,Value) задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, 'Epsilon',3e-5 устанавливает смещение отклонения к 3e-5.

    Примеры

    свернуть все

    Использование groupnorm нормировать входные данные через группы канала.

    Создайте входные данные как одно наблюдение за случайными значениями с высотой и шириной четырех и шести каналов. 

    height = 4;
width = 4;
channels = 6;
observations = 1;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

    Создайте настраиваемые параметры.

    offset = zeros(channels,1);
scaleFactor = ones(channels,1);

    Вычислите нормализацию группы. Разделите вход на три группы из двух каналов каждый.

    numGroups = 3;
dlY = groupnorm(dlX,numGroups,offset,scaleFactor);

    Входные параметры

    свернуть все

    Входные данные в виде отформатированного dlarray, бесформатный dlarray, или числовой массив.

    Если dlX бесформатный dlarray или числовой массив, затем необходимо задать формат с помощью 'DataFormat' опция. Если dlX числовой массив, затем любой scaleFactor или offset должен быть dlarray объект.

    dlX должен иметь 'C' (канал) размерность.

    Количество групп канала, чтобы нормировать через в виде положительного целого числа, 'all-channels', или 'channel-wise'.

    numGroupsОписание
    положительное целое числоРазделите входящие каналы на к конкретному количеству групп. Конкретное количество групп должно разделить количество каналов входных данных точно.
    'all-channels'Группа все входящие каналы в одну группу. Входные данные нормированы через все каналы. Это также известно как нормализацию слоя. В качестве альтернативы используйте layernorm.
    'channel-wise'Обработайте все входящие каналы как отдельные группы. Это также известно как нормализацию экземпляра. В качестве альтернативы используйте instancenorm.

    Типы данных: single | double | char | string

    Возместите β в виде отформатированного dlarray, бесформатный dlarray, или числовой массив с одной неодноэлементной размерностью с размером, совпадающим с размером 'C' (канал) размерность входа dlX.

    Если offset отформатированный dlarray объект, затем неодноэлементная размерность должна иметь, маркируют 'C' (канал).

    Масштабный коэффициент γ в виде отформатированного dlarray, бесформатный dlarray, или числовой массив с одной неодноэлементной размерностью с размером, совпадающим с размером 'C' (канал) размерность входа dlX.

    Если scaleFactor отформатированный dlarray объект, затем неодноэлементная размерность должна иметь, маркируют 'C' (канал).

    Аргументы в виде пар имя-значение

    Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

    Пример: 'Epsilon',3e-5 устанавливает смещение отклонения к 3e-5.

    Порядок размерности бесформатных входных данных в виде разделенной запятой пары, состоящей из 'DataFormat' и вектор символов или строковый скаляр FMT это обеспечивает метку для каждой размерности данных.

    При определении формата dlarray объект, каждый символ обеспечивает метку для каждой размерности данных и должен быть одним из следующего:

    • 'S' — Пространственный

    • 'C' — Канал

    • 'B' — Пакет (например, выборки и наблюдения)

    • 'T' — Время (например, временные шаги последовательностей)

    • 'U' — Незаданный

    Можно указать, что несколько размерностей пометили 'S' или 'U'. Можно использовать, маркирует 'C'B, и 'T' самое большее однажды.

    Необходимо задать 'DataFormat' когда входными данными не является отформатированный dlarray.

    Пример: 'DataFormat','SSCB'

    Типы данных: char | string

    Смещение отклонения для предотвращения делит на нуль ошибки в виде разделенной запятой пары, состоящей из 'Epsilon' и числовой скаляр. Заданное значение должно быть больше 1e-5. Значением по умолчанию является 1e-5.

    Типы данных: single | double

    Выходные аргументы

    свернуть все

    Нормированные данные, возвращенные как dlarray. Выход dlY имеет тот же базовый тип данных как вход dlX.

    Если входные данные dlX отформатированный dlarray, dlY имеет те же метки размерности как dlX. Если входными данными не является отформатированный dlarray, dlY бесформатный dlarray с той же размерностью заказывают как входные данные.

    Алгоритмы

    Операция нормализации группы нормирует элементы xi входа первым вычислением среднего μG и отклонения σG2 по пространственному, время и сгруппированные подмножества размерностей канала для каждого наблюдения независимо. Затем это вычисляет нормированные активации как

    x^i=xi−μGσG2+ε,

    где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало. Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией группы, операция нормализации группы дальнейшие сдвиги и масштабируют активации с помощью преобразования

    yi=γx^i+β,

    где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.

    Расширенные возможности

    Смотрите также

    | | | | | | | |

    Темы

    Введенный в R2020b

    Документация Deep Learning Toolbox

    Поддержка