Использование crosschannelnorm нормировать каждое наблюдение за мини-пакетом с помощью значений от смежных каналов.

height = 8;
width = 8;
channels = 6;
observations = 10;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

dlY = crosschannelnorm(dlX,3);

Значения в ребрах массива нормированы с помощью вкладов от меньшего количества каналов, в зависимости от размера окна канала.

Создайте входные данные как массив из единиц с высотой и шириной двух и трех каналов.

height = 2;
width = 2;
channels = 3;

X = ones(height,width,channels);
dlX = dlarray(X);

Нормируйте данные с помощью размера окна канала 3, $\alpha$ из 1A $\beta$ из 1, и a $\mathit{K}$ из 1e-5. Задайте формат данных 'SSC'.

dlY = crosschannelnorm(dlX,3,'Alpha',1,'Beta',1,'K',1e-5,'DataFormat','SSC');

Сравните значения в оригинале и нормированных данных путем изменения размерность массивов с тремя каналами в 2D матрицы.

dlX = reshape(dlX,2,6)

dlX = 
  2x6 dlarray

     1     1     1     1     1     1
     1     1     1     1     1     1

dlY = reshape(dlY,2,6)

dlY = 
  2x6 dlarray

    1.5000    1.5000    1.0000    1.0000    1.5000    1.5000
    1.5000    1.5000    1.0000    1.0000    1.5000    1.5000

Для первых и последних каналов сумма квадратов вычисляется с помощью только двух значений. Для среднего канала сумма квадратов содержит значения всех трех каналов.

Как правило, межканальная операция нормализации следует за операцией ReLU. Например, архитектура GoogLeNet содержит сверточные операции, сопровождаемые ReLU и межканальными операциями нормализации.

Функциональный modelFunction заданный в конце этого примера показывает, как можно использовать межканальную нормализацию в модели. Используйте modelFunction найти сгруппированную свертку и активацию ReLU некоторых входных данных и затем нормировать результат с помощью межканальной нормализации с размером окна 5.

Создайте входные данные как одно наблюдение за случайными значениями с высотой и шириной десяти и четырех каналов.

height = 10;
width = 10;
channels = 4;
observations = 1;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

Создайте параметры для сгруппированной операции свертки. Для весов используйте высоту фильтра и ширину три, два канала на группу, три фильтра на группу и две группы. Используйте значение нуля для смещения.

filterSize = [3 3];
numChannelsPerGroup = 2;
numFiltersPerGroup = 3 ;
numGroups = 2;

params = struct;
params.conv.weights = rand(filterSize(1),filterSize(2),numChannelsPerGroup,numFiltersPerGroup,numGroups);
params.conv.bias = 0;

Примените modelFunction к данным dlX.

dlY = modelFunction(dlX,params);

function dlY = modelFunction(dlX,params)

dlY = dlconv(dlX,params.conv.weights,params.conv.bias);
dlY = relu(dlY);
dlY = crosschannelnorm(dlY,5);

end