batchnorm
Нормализуйте все наблюдения для каждого канала независимо
Синтаксис
Описание
Операция нормализации партии . нормализует входные данные по всем наблюдениям для каждого канала независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшить чувствительность к инициализации сети, используйте нормализацию партии . между сверткой и нелинейными операциями, такими как relu.
После нормализации операция смещает вход на усвояемое смещение β и масштабирует его на усвояемое γ масштабного фактора.
batchnorm функция применяет операцию нормализации партии . к dlarray данные. Использование dlarray облегчает работу с данными высоких размерностей, позволяя пометить размеры. Для примера можно пометить, какие размерности соответствуют пространственным, временным, канальным и пакетным размерностям, используя 'S', 'T', 'C', и 'B' метки, соответственно. Для неопределенных и других размерностей используйте 'U' метка. Для dlarray функции объекта, которые работают над конкретными размерностями, можно задать метки размера путем форматирования dlarray объект непосредственно, или при помощи 'DataFormat' опция.
Примечание
Применение нормализации партии . в layerGraph объект или Layer массив, использование batchNormalizationLayer.
dlY = batchnorm(dlX,offset,scaleFactor)dlX и преобразуется с использованием заданного и смещенного и масштабного коэффициента.
Функция нормализуется по 'S' (пространственный), 'T' (время), 'B' (пакет), и 'U' (не заданные) размерности dlX для каждого канала в 'C' (канальная) размерность, независимо.
Для неформатированных входных данных используйте 'DataFormat' опция.
[ также возвращает среднее население и отклонение входных данных dlY,popMu,popSigmaSq] = batchnorm(dlX,offset,scaleFactor)dlX.
[ применяет операцию нормализации партии . с помощью среднего значения и отклонения dlY,updatedMu,updatedSigmaSq] = batchnorm(dlX,offset,scaleFactor,mu,sigmaSq)mu и sigmaSq, соответственно, а также возвращает обновленную статистику скользящего среднего значения и отклонения.
Этот синтаксис используется для поддержания текущих значений для данных статистики среднего и отклонений во время обучения. Используйте окончательные обновленные значения среднего и отклонения для предсказания и классификации.
[___] = batchnorm(___,'DataFormat',FMT) применяет операцию нормализации партии . к неформатированным входным данным с форматом, заданным FMT использование любого из предыдущих синтаксисов. Область выхода dlY является неформатированным dlarray объект с размерностями в том же порядке, что и dlX. Для примера, 'DataFormat','SSCB' задает данные для 2-D изображения входа с форматом 'SSCB' (пространственный, пространственный, канальный, пакетный).
[___] = batchnorm(___, задает опции, использующие один или несколько аргументы пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Для примера, Name,Value)'MeanDecay',0.3 устанавливает скорость затухания расчетов скользящего среднего.
Примеры
Применение нормализации партии .
Создайте форматированный dlarray объект, содержащий партию из 128 изображений 28 на 28 с 3 каналами. Задайте формат 'SSCB' (пространственный, пространственный, канальный, пакетный).
miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
dlX = dlarray(X,'SSCB');Просмотрите размер и формат входных данных.
size(dlX)
ans = 1×4
28 28 3 128
dims(dlX)
ans = 'SSCB'
Инициализируйте шкалу и смещение для нормализации партии .. Для шкалы задайте вектор таковых. Для смещения задайте нулевой вектор.
scaleFactor = ones(numChannels,1); offset = zeros(numChannels,1);
Примените операцию нормализации партии . с помощью batchnorm и возвращает мини-статистику пакетов.
[dlY,mu,sigmaSq] = batchnorm(dlX,offset,scaleFactor);
Просмотрите размер и формат выхода dlY.
size(dlY)
ans = 1×4
28 28 3 128
dims(dlY)
ans = 'SSCB'
Просмотрите мини-среднее значение партии mu.
mu
mu = 3×1
0.4998
0.4993
0.5011
Просмотрите отклонение мини-пакета sigmaSq.
sigmaSq
sigmaSq = 3×1
0.0831
0.0832
0.0835
Обновление среднего и отклонения по нескольким пакетам данных
Используйте batchnorm функция для нормализации нескольких пакетов данных и обновления статистики всего набора данных после каждой нормализации.
Создайте три пакета данных. Данные состоят из 10 на 10 случайных массивов с пятью каналами. Каждая партия содержит 20 наблюдений. Второй и третий пакеты масштабируются мультипликативным коэффициентом 1.5 и 2.5соответственно, среднее значение набора данных увеличивается с каждым пакетом.
height = 10; width = 10; channels = 5; observations = 20; X1 = rand(height,width,channels,observations); dlX1 = dlarray(X1,'SSCB'); X2 = 1.5*rand(height,width,channels,observations); dlX2 = dlarray(X2,'SSCB'); X3 = 2.5*rand(height,width,channels,observations); dlX3 = dlarray(X3,'SSCB');
Создайте настраиваемые параметры.
offset = zeros(channels,1); scale = ones(channels,1);
Нормализуйте первый пакет данных, dlX1, используя batchnorm. Получите значения среднего значения и отклонения этого пакета в качестве выходов.
[dlY1,mu,sigmaSq] = batchnorm(dlX1,offset,scale);
Нормализуйте второй пакет данных, dlX2. Использование mu и sigmaSq в качестве входов для получения значений комбинированного среднего и отклонения данных в пакетах dlX1 и dlX2.
[dlY2,datasetMu,datasetSigmaSq] = batchnorm(dlX2,offset,scale,mu,sigmaSq);
Нормализуйте конечный пакет данных, dlX3. Обновите статистику набора данных datasetMu и datasetSigmaSq для получения значений комбинированного среднего и отклонения всех данных в пакетах dlX1, dlX2, и dlX3.
[dlY3,datasetMuFull,datasetSigmaSqFull] = batchnorm(dlX3,offset,scale,datasetMu,datasetSigmaSq);
Наблюдайте изменение среднего значения каждого канала, когда каждый пакет нормализован.
plot([mu';datasetMu';datasetMuFull'])
legend({'Channel 1','Channel 2','Channel 3','Channel 4','Channel 5'},'Location','southeast')
xticks([1 2 3])
xlabel('Number of Batches')
xlim([0.9 3.1])
ylabel('Per-Channel Mean')
title('Data Set Mean')
Входные параметры
Выходные аргументы
Алгоритмы
Операция нормализации партии . нормирует элементы xi входа, сначала вычисляя среднее μB и отклонение2 по пространственным, временным и наблюдательным размерностям для каждого канала независимо. Затем он вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую стабильность, когда отклонение очень мала.
Чтобы допустить возможность того, что входы с нулевым средним и единичным отклонением не оптимальны для операций, которые следуют за нормализацией партии ., операция нормализации партии . дополнительно смещает и масштабирует активации с помощью преобразования
где β смещения и γ масштабного коэффициента являются настраиваемыми параметрами, которые обновляются во время сетевого обучения.
Чтобы делать предсказания в сети после обучения, нормализация партии . требует фиксированного среднего и отклонения, чтобы нормализовать данные. Это фиксированное среднее и отклонение могут быть вычислены из обучающих данных после обучения или аппроксимированы во время обучения с использованием запущенных статистических расчетов.
Расширенные возможности
См. также
dlarray | dlconv | dlfeval | dlgradient | fullyconnect | groupnorm | layernorm | relu