batchnorm
Нормируйте данные через все наблюдения для каждого канала независимо
Синтаксис
Описание
Операция нормализации партии. нормирует входные данные через все наблюдения для каждого канала независимо. Чтобы ускорить обучение сверточной нейронной сети и уменьшать чувствительность к сетевой инициализации, используйте нормализацию партии. между сверткой и нелинейными операциями такой как relu.
После нормализации операция переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.
batchnorm функция применяет операцию нормализации партии. к dlarray данные. Используя dlarray объекты делают работу с высокими размерными данными легче, позволяя вам пометить размерности. Например, можно пометить, которому размерности соответствуют пространственный, время, канал, и обрабатывают размерности в пакетном режиме с помощью "S"TC, и "B" метки, соответственно. Для незаданных и других размерностей используйте "U" метка. Для dlarray возразите функциям, которые действуют по конкретным размерностям, можно задать метки размерности путем форматирования dlarray возразите непосредственно, или при помощи DataFormat опция.
Примечание
Применять нормализацию партии. в layerGraph объект или Layer массив, используйте batchNormalizationLayer.
dlY = batchnorm(dlX,offset,scaleFactor)dlX использование среднего значения населения и отклонения входных данных и заданного смещения и масштабного коэффициента.
Функция нормирует по 'S' (пространственный), 'T' (время), 'B' (пакет) и 'U' (незаданные) размерности dlX для каждого канала в 'C' (канал) размерность, независимо.
Для бесформатных входных данных используйте 'DataFormat' опция.
[ применяет операцию нормализации партии. и также возвращает среднее значение населения и отклонение входных данных dlY,popMu,popSigmaSq] = batchnorm(dlX,offset,scaleFactor)dlX.
[ применяет операцию нормализации партии. и также возвращает обновленное скользящее среднее значение и статистику отклонения. dlY,updatedMu,updatedSigmaSq] = batchnorm(dlX,offset,scaleFactor,runningMu,runningSigmaSq)runningMu и runningSigmaSq среднее значение и значения отклонения после предыдущей учебной итерации, соответственно.
Используйте этот синтаксис, чтобы обеспечить рабочие значения для среднего значения и статистики отклонения во время обучения. То, когда вы закончили обучение, используйте финал, обновило значения среднего значения и отклонения для операции нормализации партии. во время предсказания и классификации.
dlY = batchnorm(dlX,offset,scaleFactor,trainedMu,trainedSigmaSq)trainedMu и отклонение trainedSigmaSq.
Используйте этот синтаксис во время классификации и предсказания, где trainedMu и trainedSigmaSq окончательные значения среднего значения и отклонения после того, как вы закончили обучение, соответственно.
[___] = batchnorm(___,'DataFormat',FMT) применяет операцию нормализации партии. к бесформатным входным данным с форматом, заданным FMT использование любой из комбинаций ввода или вывода в предыдущих синтаксисах. Выход dlY бесформатный dlarray объект с размерностями в том же порядке как dlX. Например, 'DataFormat','SSCB' задает данные для 2D входа изображений с форматом 'SSCB' (пространственный, пространственный, канал, пакет).
[___] = batchnorm(___, задает дополнительные опции с помощью одного или нескольких аргументов пары "имя-значение". Например, Name,Value)'MeanDecay',0.3 устанавливает уровень затухания расчета скользящего среднего значения.
Примеры
Примените нормализацию партии.
Создайте отформатированный dlarray объект, содержащий пакет 128 28 28 изображения с 3 каналами. Задайте формат 'SSCB' (пространственный, пространственный, канал, пакет).
miniBatchSize = 128;
inputSize = [28 28];
numChannels = 3;
X = rand(inputSize(1),inputSize(2),numChannels,miniBatchSize);
dlX = dlarray(X,'SSCB');Просмотрите размер и формат входных данных.
size(dlX)
ans = 1×4
28 28 3 128
dims(dlX)
ans = 'SSCB'
Инициализируйте шкалу и смещение для нормализации партии. Для шкалы задайте вектор из единиц. Для смещения задайте нулевой вектор.
scaleFactor = ones(numChannels,1); offset = zeros(numChannels,1);
Примените операцию нормализации партии. с помощью batchnorm функционируйте и возвратите мини-пакетную статистику.
[dlY,mu,sigmaSq] = batchnorm(dlX,offset,scaleFactor);
Просмотрите размер и формат выхода dlY.
size(dlY)
ans = 1×4
28 28 3 128
dims(dlY)
ans = 'SSCB'
Просмотрите мини-среднее значение партии mu.
mu
mu = 3×1
0.4998
0.4993
0.5011
Просмотрите мини-пакетное отклонение sigmaSq.
sigmaSq
sigmaSq = 3×1
0.0831
0.0832
0.0835
Среднее значение обновления и отклонение по нескольким пакетам данных
Используйте batchnorm функция, чтобы нормировать несколько пакетов данных и обновить статистику целого набора данных после каждой нормализации.
Создайте три пакета данных. Данные состоят из 10 10 случайных массивов с пятью каналами. Каждый пакет содержит 20 наблюдений. Вторые и третьи пакеты масштабируются мультипликативным фактором 1.5 и 2.5, соответственно, таким образом, среднее значение набора данных увеличивается с каждым пакетом.
height = 10; width = 10; numChannels = 5; observations = 20; X1 = rand(height,width,numChannels,observations); dlX1 = dlarray(X1,"SSCB"); X2 = 1.5*rand(height,width,numChannels,observations); dlX2 = dlarray(X2,"SSCB"); X3 = 2.5*rand(height,width,numChannels,observations); dlX3 = dlarray(X3,"SSCB");
Создайте настраиваемые параметры.
offset = zeros(numChannels,1); scale = ones(numChannels,1);
Нормируйте первый пакет данных dlX1 использование batchnorm. Получите значения среднего значения и отклонение этого пакета как выходные параметры.
[dlY1,mu,sigmaSq] = batchnorm(dlX1,offset,scale);
Нормируйте второй пакет данных dlX2. Используйте mu и sigmaSq как вводит, чтобы получить значения объединенного среднего значения и отклонение данных в пакетах dlX1 и dlX2.
[dlY2,datasetMu,datasetSigmaSq] = batchnorm(dlX2,offset,scale,mu,sigmaSq);
Нормируйте итоговый пакет данных dlX3. Обновите статистику набора данных datasetMu и datasetSigmaSq получить значения объединенного среднего значения и отклонение всех данных в пакетах dlX1, dlX2, и dlX3.
[dlY3,datasetMuFull,datasetSigmaSqFull] = batchnorm(dlX3,offset,scale,datasetMu,datasetSigmaSq);
Наблюдайте изменение в среднем значении каждого канала, когда каждый пакет нормирован.
plot([mu datasetMu datasetMuFull]') legend("Channel " + string(1:5),"Location","southeast") xticks([1 2 3]) xlabel("Number of Batches") xlim([0.9 3.1]) ylabel("Per-Channel Mean") title("Data Set Mean")
Входные параметры
Выходные аргументы
Алгоритмы
Операция нормализации партии. нормирует элементы xi входа первым вычислением среднего μB и отклонения σB2 по пространственному, время и размерности наблюдения для каждого канала независимо. Затем это вычисляет нормированные активации как
где ϵ является константой, которая улучшает числовую устойчивость, когда отклонение очень мало.
Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для операций, которые следуют за нормализацией партии., операция нормализации партии. дальнейшие сдвиги и масштабируют активации с помощью преобразования
где смещение β и масштабный коэффициент, γ является настраиваемыми параметрами, которые обновляются во время сетевого обучения.
Чтобы сделать предсказания с сетью после обучения, нормализация партии. требует, чтобы фиксированное среднее значение и отклонение нормировали данные. Это фиксированное среднее значение и отклонение могут быть вычислены от обучающих данных после обучения или аппроксимированы во время использования обучения рабочие статистические расчеты.
Расширенные возможности
Смотрите также
relu | fullyconnect | dlconv | dlarray | dlgradient | dlfeval | groupnorm | layernorm