Нормируйте через все наблюдения для каждого канала независимо
Операция нормализации партии. нормирует входные данные через все наблюдения для каждого канала независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте нормализацию партии. между сверткой и нелинейными операциями такой как relu.
После нормализации операция переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.
batchnorm функция применяет операцию нормализации партии. к dlarray данные. Используя dlarray объекты делают работу с высокими размерными данными легче, позволяя вам пометить размерности. Например, можно пометить, которому размерности соответствуют пространственный, время, канал, и обрабатывают размерности в пакетном режиме с помощью 'S'TC, и 'B' метки, соответственно. Для незаданных и других размерностей используйте 'U' метка. Для dlarray возразите функциям, которые действуют по конкретным размерностям, можно задать метки размерности путем форматирования dlarray возразите непосредственно, или при помощи 'DataFormat' опция.
Примечание
Применять нормализацию партии. в layerGraph объект или Layer массив, используйте batchNormalizationLayer.
dlY = batchnorm(dlX,offset,scaleFactor)dlX и преобразовывает использование заданного и смещения и масштабного коэффициента.
Функция нормирует по 'S' (пространственный), 'T' (время), 'B' (пакет) и 'U' (незаданные) размерности dlX для каждого канала в 'C' (канал) размерность, независимо.
Для бесформатных входных данных используйте 'DataFormat' опция.
[ также возвращает среднее значение населения и отклонение входных данных dlY,popMu,popSigmaSq] = batchnorm(dlX,offset,scaleFactor)dlX.
[ применяет операцию нормализации партии. с помощью среднего значения и отклонения dlY,updatedMu,updatedSigmaSq] = batchnorm(dlX,offset,scaleFactor,mu,sigmaSq)mu и sigmaSq, соответственно, и также возвращает обновленное скользящее среднее значение и статистику отклонения.
Используйте этот синтаксис, чтобы обеспечить рабочие значения для среднего значения и данных о статистике отклонения во время обучения. Используйте обновленные значения финала среднего значения и отклонения для предсказания и классификации.
[___] = batchnorm(___,'DataFormat',FMT) применяет операцию нормализации партии. к бесформатным входным данным с форматом, заданным FMT использование любого из предыдущих синтаксисов. Выход dlY бесформатный dlarray объект с размерностями в том же порядке как dlX. Например, 'DataFormat','SSCB' задает данные для 2D входа изображений с форматом 'SSCB' (пространственный, пространственный, канал, пакет).
[___] = batchnorm(___, задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к входным параметрам в предыдущих синтаксисах. Например, Name,Value)'MeanDecay',0.3 устанавливает уровень затухания расчета скользящего среднего значения.
Создайте отформатированный dlarray объект, содержащий пакет 128 28 28 изображения с 3 каналами. Задайте формат 'SSCB' (пространственный, пространственный, канал, пакет).
miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
dlX = dlarray(X,'SSCB');Просмотрите размер и формат входных данных.
size(dlX)
ans = 1×4
28 28 3 128
dims(dlX)
ans = 'SSCB'
Инициализируйте шкалу и смещение для нормализации партии. Для шкалы задайте вектор из единиц. Для смещения задайте нулевой вектор.
scaleFactor = ones(numChannels,1); offset = zeros(numChannels,1);
Примените операцию нормализации партии. с помощью batchnorm функционируйте и возвратите мини-пакетную статистику.
[dlY,mu,sigmaSq] = batchnorm(dlX,offset,scaleFactor);
Просмотрите размер и формат выхода dlY.
size(dlY)
ans = 1×4
28 28 3 128
dims(dlY)
ans = 'SSCB'
Просмотрите мини-среднее значение партии mu.
mu
mu = 3×1
0.4998
0.4993
0.5011
Просмотрите мини-пакетное отклонение sigmaSq.
sigmaSq
sigmaSq = 3×1
0.0831
0.0832
0.0835
Используйте batchnorm функция, чтобы нормировать несколько пакетов данных и обновить статистику целого набора данных после каждой нормализации.
Создайте три пакета данных. Данные состоят из 10 10 случайных массивов с пятью каналами. Каждый пакет содержит 20 наблюдений. Вторые и третьи пакеты масштабируются мультипликативным фактором 1.5 и 2.5, соответственно, таким образом, среднее значение набора данных увеличивается с каждым пакетом.
height = 10; width = 10; channels = 5; observations = 20; X1 = rand(height,width,channels,observations); dlX1 = dlarray(X1,'SSCB'); X2 = 1.5*rand(height,width,channels,observations); dlX2 = dlarray(X2,'SSCB'); X3 = 2.5*rand(height,width,channels,observations); dlX3 = dlarray(X3,'SSCB');
Создайте настраиваемые параметры.
offset = zeros(channels,1); scale = ones(channels,1);
Нормируйте первый пакет данных, dlX1, с помощью batchnorm. Получите значения среднего значения и отклонение этого пакета как выходные параметры.
[dlY1,mu,sigmaSq] = batchnorm(dlX1,offset,scale);
Нормируйте второй пакет данных, dlX2. Используйте mu и sigmaSq как вводит, чтобы получить значения объединенного среднего значения и отклонение данных в пакетах dlX1 и dlX2.
[dlY2,datasetMu,datasetSigmaSq] = batchnorm(dlX2,offset,scale,mu,sigmaSq);
Нормируйте итоговый пакет данных, dlX3. Обновите статистику набора данных datasetMu и datasetSigmaSq получить значения объединенного среднего значения и отклонение всех данных в пакетах dlX1, dlX2, и dlX3.
[dlY3,datasetMuFull,datasetSigmaSqFull] = batchnorm(dlX3,offset,scale,datasetMu,datasetSigmaSq);
Наблюдайте изменение в среднем значении каждого канала, когда каждый пакет нормирован.
plot([mu';datasetMu';datasetMuFull'])
legend({'Channel 1','Channel 2','Channel 3','Channel 4','Channel 5'},'Location','southeast')
xticks([1 2 3])
xlabel('Number of Batches')
xlim([0.9 3.1])
ylabel('Per-Channel Mean')
title('Data Set Mean')
Операция нормализации партии. нормирует элементы xi входа первым вычислением среднего μB и отклонения σB2 по пространственному, время и размерности наблюдения для каждого канала независимо. Затем это вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало.
Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией партии., операция нормализации партии. дальнейшие сдвиги и масштабируют активации с помощью преобразования
где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.
Чтобы сделать предсказания с сетью после обучения, нормализация партии. требует, чтобы фиксированное среднее значение и отклонение нормировали данные. Это фиксированное среднее значение и отклонение могут быть вычислены от обучающих данных после обучения или аппроксимированы во время использования обучения рабочие статистические расчеты.
dlarray | dlconv | dlfeval | dlgradient | fullyconnect | groupnorm | layernorm | relu