Использовать crosschannelnorm нормализовать каждое наблюдение мини-пакета с использованием значений из соседних каналов.

height = 8;
width = 8;
channels = 6;
observations = 10;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

dlY = crosschannelnorm(dlX,3);

Значения на краях массива нормализуются с использованием вклада меньшего количества каналов, в зависимости от размера окна канала.

Создайте входные данные в виде массива с высотой и шириной двух и трех каналов.

height = 2;
width = 2;
channels = 3;

X = ones(height,width,channels);
dlX = dlarray(X);

Нормализация данных с использованием размера окна канала 3, α $$из 1, $\beta$ 1и $\mathit{K}$ из 1e-5. Укажите формат данных 'SSC'.

dlY = crosschannelnorm(dlX,3,'Alpha',1,'Beta',1,'K',1e-5,'DataFormat','SSC');

Сравните значения в исходных и нормализованных данных путем преобразования трехканальных массивов в 2-D матрицы.

dlX = reshape(dlX,2,6)

dlX = 
  2x6 dlarray

     1     1     1     1     1     1
     1     1     1     1     1     1

dlY = reshape(dlY,2,6)

dlY = 
  2x6 dlarray

    1.5000    1.5000    1.0000    1.0000    1.5000    1.5000
    1.5000    1.5000    1.0000    1.0000    1.5000    1.5000

Для первого и последнего каналов сумма квадратов вычисляется с использованием только двух значений. Для среднего канала сумма квадратов содержит значения всех трех каналов.

Обычно операция нормализации кросс-канала следует за операцией ReLU. Например, архитектура GoogLeNet содержит сверточные операции, за которыми следуют операции ReLU и нормализации кросс-канала.

Функция modelFunction В конце этого примера показано, как можно использовать в модели кросс-канальную нормализацию. Использовать modelFunction найти сгруппированную свертку и активацию ReLU некоторых входных данных, а затем нормализовать результат с помощью кросс-канальной нормализации с размером окна 5.

Создайте входные данные как единое наблюдение случайных значений высотой и шириной в десять и четыре канала.

height = 10;
width = 10;
channels = 4;
observations = 1;

X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');

Создайте параметры для операции группирования свертки. Для весов используйте высоту и ширину фильтра: три, два канала на группу, три фильтра на группу и две группы. Используйте нулевое значение для смещения.

filterSize = [3 3];
numChannelsPerGroup = 2;
numFiltersPerGroup = 3 ;
numGroups = 2;

params = struct;
params.conv.weights = rand(filterSize(1),filterSize(2),numChannelsPerGroup,numFiltersPerGroup,numGroups);
params.conv.bias = 0;

Применить modelFunction к данным dlX.

dlY = modelFunction(dlX,params);

function dlY = modelFunction(dlX,params)

dlY = dlconv(dlX,params.conv.weights,params.conv.bias);
dlY = relu(dlY);
dlY = crosschannelnorm(dlY,5);

end