Слой нормализации партии.
Слой нормализации партии. нормирует каждый входной канал через мини-пакет. Чтобы ускорить обучение сверточных нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации партии. между сверточными слоями и нелинейностью, такой как слои ReLU.
Слой сначала нормирует активации каждого канала путем вычитания мини-среднего значения партии и деления на мини-пакетное стандартное отклонение. Затем слой переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.
создает слой нормализации партии.layer
= batchNormalizationLayer
создает слой нормализации партии. и устанавливает дополнительную Нормализацию партии., Параметры и Инициализацию, Изучите Уровень и Регуляризацию и layer
= batchNormalizationLayer('Name',Value
)Name
свойства с помощью пар "имя-значение". Например, batchNormalizationLayer('Name','batchnorm')
создает слой нормализации партии. с именем 'batchnorm'
. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в кавычки.
Нормализация партии. нормирует свои входные параметры xi на первое вычисление среднего μB и отклонения σB2 по мини-пакету и по каждому входному каналу. Затем это вычисляет нормированные активации как
Здесь, ϵ (свойство Epsilon
) улучшает числовую устойчивость, когда мини-пакетное отклонение очень мало. Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для слоя, который следует за слоем нормализации партии., слой нормализации партии. дальнейшие сдвиги и масштабирует активации как
Здесь, смещение β и масштабный коэффициент γ (Offset
и Scale
свойства), настраиваемые параметры, которые обновляются во время сетевого обучения.
Когда сетевое обучение заканчивается, слой нормализации партии. вычисляет среднее значение и отклонение по полному набору обучающих данных и хранит их в TrainedMean
и TrainedVariance
свойства. Когда вы используете обучивший сеть, чтобы сделать предсказания на новых изображениях, слой использует обученное среднее значение и отклонение вместо мини-среднего значения партии и отклонение, чтобы нормировать активации.
[1] Иоффе, Сергей и Кристиан Сзеджеди. "Нормализация партии.: Ускорение глубокого сетевого обучения путем сокращения внутреннего ковариационного сдвига". предварительно распечатайте, arXiv:1502.03167 (2015).
convolution2dLayer
| fullyConnectedLayer
| groupNormalizationLayer
| reluLayer
| trainingOptions
| trainNetwork