batchnorm
Нормируйте каждый канал входных данных
Синтаксис
Описание
Пакетная операция нормализации нормирует каждый входной канал через мини-пакет. Чтобы ускорить обучение сверточных нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте пакетную нормализацию между сверткой и нелинейными операциями, такими как relu.
Примечание
Эта функция применяет пакетную операцию нормализации к dlarray данные. Если вы хотите применить пакетную нормализацию в layerGraph объект или Layer массив, используйте следующий слой:
[ нормирует каждый канал входного мини-пакета dlY,mu,sigma] = batchnorm(dlX,offset,scaleFactor)dlX использование среднего значения и статистики отклонения, вычисленной из каждого канала и, применяет масштабный коэффициент и смещение.
Нормированная активация вычисляется с помощью следующей формулы:
где xi является входной активацией, μc (mu) и σc2 (sigma) среднее значение на канал и отклонение, соответственно, и ε является маленькой константой. mu и sigma вычисляются по всему 'S' (пространственный), 'B' (пакет), 'T' (время) и 'U' (незаданные) размерности в dlX для каждого канала.
Нормированная активация возмещается и масштабируется согласно следующей формуле:
Смещение β и масштабный коэффициент γ задано с offset и scaleFactor аргументы.
Вход dlX отформатированный dlarray с метками размерности. Выход dlY отформатированный dlarray с той же размерностью помечает как dlX.
[ нормирует каждый канал входного мини-пакета dlY,datasetMu,datasetSigma] = batchnorm(dlX,offset,scaleFactor,datasetMu,datasetSigma)dlX использование среднего значения и статистики отклонения, вычисленной из каждого канала и, применяет масштабный коэффициент и смещение. Функция также обновляет статистику набора данных datasetMu и datasetSigma использование следующей формулы:
где sn является статистической величиной, вычисленной по нескольким мини-пакетам, sx является статистической величиной на канал текущего мини-пакета, и ϕ является значением затухания для статистической величины.
Используйте этот синтаксис, чтобы итеративно обновить среднее значение и статистику отклонения по нескольким мини-пакетам данных во время обучения. Используйте окончательное значение среднего значения и отклонения, вычисленного по всем учебным мини-пакетам, чтобы нормировать данные для прогноза и классификации.
[___] = batchnorm(___,'DataFormat', также указывает, что размерность маркирует FMT)FMT когда dlX не отформатированный dlarray в дополнение к входным параметрам в предыдущих синтаксисах. Выход dlY бесформатный dlarray с той же размерностью заказывают как dlX.
[___] = batchnorm(___, задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, Name,Value)'MeanDecay',3 устанавливает уровень затухания расчета скользящего среднего значения.
Примеры
Нормируйте данные и получите статистику
Используйте batchnorm нормировать каждый канал мини-пакета и получить статистику нормализации на канал.
Создайте входные данные как одно наблюдение за случайными значениями с высотой и шириной четырех и трех каналов.
height = 4;
width = 4;
channels = 3;
observations = 1;
X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');Создайте learnable параметры.
offset = zeros(channels,1); scaleFactor = ones(channels,1);
Вычислите пакетную нормализацию и получите статистику каждого канала пакета.
[dlY,mu,sigma] = batchnorm(dlX,offset,scaleFactor); mu sigma
mu = 3×1
0.6095
0.6063
0.4619
sigma = 3×1
0.1128
0.0880
0.0805
Среднее значение обновления и отклонение по нескольким пакетам данных
Используйте batchnorm, чтобы нормировать несколько пакетов данных и обновить статистику целого набора данных после каждой нормализации.
Создайте три пакета данных. Данные состоят из 10 10 массивов с 5 каналами. Каждый пакет содержит 20 наблюдений.
height = 10; width = 10; channels = 5; observations = 20; X_1 = rand(height,width,channels,observations); dlX_1 = dlarray(X_1,'SSCB'); X_2 = 1.5*rand(height,width,channels,observations); dlX_2 = dlarray(X_2,'SSCB'); X_3 = 2.5*rand(height,width,channels,observations); dlX_3 = dlarray(X_3,'SSCB');
Создайте learnable параметры.
offset = rand(channels,1); scale = ones(channels,1);
Вычислите batchnormalization первого пакета данных, dlX_1. Получите значения среднего значения и отклонение этого пакета как выходные параметры.
[dlY_1,mu,sigma] = batchnorm(dlX_1,offset,scale);
Вычислите пакетную нормализацию второго пакета данных, dlX_2. Используйте mu и sigma входные параметры должны получить значения объединенного среднего значения и отклонение данных в пакетах dlX_1 и dlX_2.
[dlY_2,datasetMu,datasetSigma] = batchnorm(dlX_2,offset,scale,mu,sigma);
Вычислите пакетную нормализацию итогового пакета данных, dlX_3. Обновите статистику набора данных datasetMu и datasetSigma получить значения объединенного среднего значения и отклонение всех данных в пакетах dlX_1, dlX_2, и dlX_3.
[dlY_3,datasetMuFull,datasetSigmaFull] = batchnorm(dlX_3,offset,scale,datasetMu,datasetSigma);
Наблюдайте изменение в среднем значении через каждый набор данных
plot([mu';datasetMu';datasetMuFull'])
legend({'Channel 1','Channel 2','Channel 3','Channel 4','Channel 5'},'Location','southeast')
xticks([1 2 3])
xlabel('Number of Batches')
xlim([0.9 3.1])
ylabel('Per-Channel Mean')
title('Dataset Mean')
Входные параметры
Выходные аргументы
Больше о
Расширенные возможности
Смотрите также
dlarray | dlconv | dlfeval | dlgradient | fullyconnect | relu