batchnorm
Нормируйте каждый канал мини-пакета
Синтаксис
Описание
Операция нормализации партии. нормирует каждый входной канал через мини-пакет. Чтобы ускорить обучение сверточных нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте нормализацию партии. между сверткой и нелинейными операциями такой как relu.
Примечание
Эта функция применяет операцию нормализации партии. к dlarray данные. Если вы хотите применить нормализацию партии. в layerGraph объект или Layer массив, используйте следующий слой:
[ нормирует каждый канал входного мини-пакета dlY,mu,sigmaSq] = batchnorm(dlX,offset,scaleFactor)dlX использование среднего значения и статистики отклонения, вычисленной из каждого канала и, применяет масштабный коэффициент и смещение.
Нормированная активация вычисляется с помощью следующей формулы:
где xi является входной активацией, μc (mu) и σc2 (sigmaSq) среднее значение на канал и отклонение, соответственно, и ε является маленькой константой. mu и sigmaSq вычисляются по всему 'S' (пространственный), 'B' (пакет), 'T' (время) и 'U' (незаданные) размерности в dlX для каждого канала.
Нормированная активация возмещается и масштабируется согласно следующей формуле:
Смещение β и масштабный коэффициент γ задано с offset и scaleFactor аргументы.
Вход dlX отформатированный dlarray с метками размерности. Выход dlY отформатированный dlarray с той же размерностью помечает как dlX.
[ нормирует каждый канал входного мини-пакета dlY,datasetMu,datasetSigmaSq] = batchnorm(dlX,offset,scaleFactor,datasetMu,datasetSigmaSq)dlX использование среднего значения и статистики отклонения, вычисленной из каждого канала и, применяет масштабный коэффициент и смещение. Функция также обновляет статистику набора данных datasetMu и datasetSigmaSq использование следующей формулы:
где sn является статистической величиной, вычисленной по нескольким мини-пакетам, sx является статистической величиной на канал текущего мини-пакета, и ϕ является значением затухания для статистической величины.
Используйте этот синтаксис, чтобы итеративно обновить среднее значение и статистику отклонения по нескольким мини-пакетам данных во время обучения. Используйте окончательное значение среднего значения и отклонения, вычисленного по всем учебным мини-пакетам, чтобы нормировать данные для предсказания и классификации.
[___] = batchnorm(___,'DataFormat',FMT) также задает формат размерности FMT когда dlX не отформатированный dlarray в дополнение к входным параметрам в предыдущих синтаксисах. Выход dlY бесформатный dlarray с той же размерностью заказывают как dlX.
[___] = batchnorm(___, задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, Name,Value)'MeanDecay',3 устанавливает уровень затухания расчета скользящего среднего значения.
Примеры
Нормируйте данные и получите статистику
Используйте batchnorm нормировать каждый канал мини-пакета и получить статистику нормализации на канал.
Создайте входные данные как одно наблюдение за случайными значениями с высотой и шириной четырех и трех каналов.
height = 4;
width = 4;
channels = 3;
observations = 1;
X = rand(height,width,channels,observations);
dlX = dlarray(X,'SSCB');Создайте настраиваемые параметры.
offset = zeros(channels,1); scaleFactor = ones(channels,1);
Вычислите нормализацию партии. и получите статистику каждого канала пакета.
[dlY,mu,sigmaSq] = batchnorm(dlX,offset,scaleFactor); mu sigmaSq
mu = 3×1
0.6095
0.6063
0.4619
sigmaSq = 3×1
0.1128
0.0880
0.0805
Среднее значение обновления и отклонение по нескольким пакетам данных
Используйте batchnorm функция, чтобы нормировать несколько пакетов данных и обновить статистику целого набора данных после каждой нормализации.
Создайте три пакета данных. Данные состоят из 10 10 случайных массивов с пятью каналами. Каждый пакет содержит 20 наблюдений. Вторые и третьи пакеты масштабируются мультипликативным фактором 1.5 и 2.5, соответственно, таким образом, среднее значение набора данных увеличивается с каждым пакетом.
height = 10; width = 10; channels = 5; observations = 20; X1 = rand(height,width,channels,observations); dlX1 = dlarray(X1,'SSCB'); X2 = 1.5*rand(height,width,channels,observations); dlX2 = dlarray(X2,'SSCB'); X3 = 2.5*rand(height,width,channels,observations); dlX3 = dlarray(X3,'SSCB');
Создайте настраиваемые параметры.
offset = zeros(channels,1); scale = ones(channels,1);
Нормируйте первый пакет данных, dlX1, с помощью batchnorm. Получите значения среднего значения и отклонение этого пакета как выходные параметры.
[dlY1,mu,sigmaSq] = batchnorm(dlX1,offset,scale);
Нормируйте второй пакет данных, dlX2. Используйте mu и sigmaSq как вводит, чтобы получить значения объединенного среднего значения и отклонение данных в пакетах dlX1 и dlX2.
[dlY2,datasetMu,datasetSigmaSq] = batchnorm(dlX2,offset,scale,mu,sigmaSq);
Нормируйте итоговый пакет данных, dlX3. Обновите статистику набора данных datasetMu и datasetSigmaSq получить значения объединенного среднего значения и отклонение всех данных в пакетах dlX1, dlX2, и dlX3.
[dlY3,datasetMuFull,datasetSigmaSqFull] = batchnorm(dlX3,offset,scale,datasetMu,datasetSigmaSq);
Наблюдайте изменение в среднем значении каждого канала, когда каждый пакет нормирован.
plot([mu';datasetMu';datasetMuFull'])
legend({'Channel 1','Channel 2','Channel 3','Channel 4','Channel 5'},'Location','southeast')
xticks([1 2 3])
xlabel('Number of Batches')
xlim([0.9 3.1])
ylabel('Per-Channel Mean')
title('Data Set Mean')
Входные параметры
Выходные аргументы
Больше о
Расширенные возможности
Смотрите также
dlarray | dlconv | dlfeval | dlgradient | fullyconnect | groupnorm | relu