Использовать crosschannelnorm нормализовать каждое наблюдение мини-пакета с использованием значений из смежных каналов.

height = 8;
width = 8;
channels = 6;
observations = 10;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

dlY = crosschannelnorm(dlX,3);

Значения на ребрах массива нормированы с помощью вкладов из меньшего количества каналов, в зависимости от размера окна канала.

Создайте входные данные как массив из них с высотой и шириной двух и трех каналов.

height = 2;
width = 2;
channels = 3;

X = ones(height,width,channels);
dlX = dlarray(X);

Нормализуйте данные, используя размер окна в канале 3один $\alpha$ от 1, а $\beta$ от 1, и $\mathit{K}$ от 1e-5. Задайте формат данных 'SSC'.

dlY = crosschannelnorm(dlX,3,'Alpha',1,'Beta',1,'K',1e-5,'DataFormat','SSC');

Сравните значения в исходных и нормированных данных путем преобразования трехканальных массивов в 2-D матрицы.

dlX = reshape(dlX,2,6)

dlX = 
  2x6 dlarray

     1     1     1     1     1     1
     1     1     1     1     1     1

dlY = reshape(dlY,2,6)

dlY = 
  2x6 dlarray

    1.5000    1.5000    1.0000    1.0000    1.5000    1.5000
    1.5000    1.5000    1.0000    1.0000    1.5000    1.5000

Для первого и последнего каналов сумма квадратов вычисляется с использованием только двух значений. Для среднего канала сумма квадратов содержит значения всех трех каналов.

Обычно операция межканальной нормализации выполняется после операции ReLU. Например, архитектура GoogLeNet содержит сверточные операции, за которыми следуют ReLU и межканальные операции нормализации.

Функция modelFunction заданный в конце этого примера показывает, как можно использовать межканальную нормализацию в модели. Использование modelFunction чтобы найти сгруппированные свертки и активацию ReLU некоторых входных данных, а затем нормализовать результат с помощью межканальной нормализации с размером окна 5.

Создайте входные данные как одно наблюдение случайных значений с высотой и шириной десяти и четырех каналов.

height = 10;
width = 10;
channels = 4;
observations = 1;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

Создайте параметры для сгруппированной операции свертки. Для весов используйте высоту и ширину фильтра три, два канала на группу, три фильтра на группу и две группы. Используйте значение нуля для смещения.

filterSize = [3 3];
numChannelsPerGroup = 2;
numFiltersPerGroup = 3 ;
numGroups = 2;

params = struct;
params.conv.weights = rand(filterSize(1),filterSize(2),numChannelsPerGroup,numFiltersPerGroup,numGroups);
params.conv.bias = 0;

Применить modelFunction к данным dlX.

dlY = modelFunction(dlX,params);

function dlY = modelFunction(dlX,params)

dlY = dlconv(dlX,params.conv.weights,params.conv.bias);
dlY = relu(dlY);
dlY = crosschannelnorm(dlY,5);

end