batchNormalizationLayer

Слой нормализации партии.

расширьте все на странице

Описание

Слой нормализации партии. нормирует каждый входной канал через мини-пакет. Чтобы ускорить обучение сверточных нейронных сетей и уменьшать чувствительность к сетевой инициализации, используйте слои нормализации партии. между сверточными слоями и нелинейностью, такой как слои ReLU.

Слой сначала нормирует активации каждого канала путем вычитания мини-среднего значения партии и деления на мини-пакетное стандартное отклонение. Затем слой переключает вход learnable смещением β и масштабирует его learnable масштабным коэффициентом γ.

Создание

Синтаксис

layer = batchNormalizationLayer
layer = batchNormalizationLayer('Name',Value)

Описание

layer = batchNormalizationLayer создает слой нормализации партии.

пример

layer = batchNormalizationLayer('Name',Value) создает слой нормализации партии. и устанавливает дополнительную Нормализацию партии., Параметры и Инициализацию, Изучите Уровень и Регуляризацию и Name свойства с помощью пар "имя-значение". Например, batchNormalizationLayer('Name','batchnorm') создает слой нормализации партии. с именем 'batchnorm'. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в одинарные кавычки.

Свойства

развернуть все

Нормализация партии.

Введите среднее значение каждого канала в виде числового массива размера 1 1 NumChannels для 2D входа или 1 1 1 NumChannels для 3-D входа.

После сетевых учебных концов программное обеспечение вычисляет входное среднее значение по целому обучающему набору данных. Слой использует TrainedMean (вместо мини-среднего значения партии), чтобы нормировать вход во время предсказания.

Введите отклонение каждого канала в виде числового массива размера 1 1 NumChannels для 2D входа или 1 1 1 NumChannels для 3-D входа.

После сетевых учебных концов программное обеспечение вычисляет входное отклонение по целому обучающему набору данных. Слой использует TrainedVariance (вместо мини-пакетного отклонения), чтобы нормировать вход во время предсказания.

Постоянный, чтобы добавить к мини-пакетным отклонениям в виде числового скаляра равняются или больше, чем 1e-5.

Слой нормализации партии. добавляет эту константу в мини-пакетные отклонения перед нормализацией, чтобы гарантировать числовую устойчивость и избежать деления на нуль.

Количество входа образовывает канал в виде 'auto' или положительное целое число.

Это свойство всегда равно количеству каналов входа к слою. Если NumChannels равняется 'auto', затем программное обеспечение выводит правильное значение для количества каналов в учебное время.

Параметры и инициализация

Функция, чтобы инициализировать масштабные коэффициенты канала в виде одного из следующего:

  • 'ones' – Инициализируйте масштабные коэффициенты канала единицами.

  • 'zeros' – Инициализируйте масштабные коэффициенты канала нулями.

  • 'narrow-normal' – Инициализируйте масштабные коэффициенты канала путем независимой выборки от нормального распределения с нулевым средним и стандартным отклонением 0.01.

  • Указатель на функцию – Инициализирует масштабные коэффициенты канала пользовательской функцией. Если вы задаете указатель на функцию, то функция должна иметь форму scale = func(sz), где sz размер шкалы. Для примера смотрите, Задают Пользовательскую Функцию Инициализации Веса.

Слой только инициализирует масштабные коэффициенты канала когда Scale свойство пусто.

Типы данных: char | string | function_handle

Функция, чтобы инициализировать смещения канала в виде одного из следующего:

  • 'zeros' – Инициализируйте смещения канала нулями.

  • 'ones' – Инициализируйте смещения канала единицами.

  • 'narrow-normal' – Инициализируйте смещения канала путем независимой выборки от нормального распределения с нулевым средним и стандартным отклонением 0.01.

  • Указатель на функцию – Инициализирует смещения канала пользовательской функцией. Если вы задаете указатель на функцию, то функция должна иметь форму offset = func(sz), где sz размер шкалы. Для примера смотрите, Задают Пользовательскую Функцию Инициализации Веса.

Слой только инициализирует смещения канала когда Offset свойство пусто.

Типы данных: char | string | function_handle

Масштабные коэффициенты канала γ в виде числового массива.

Масштабными коэффициентами канала являются настраиваемые параметры. При обучении сети, если Scale непусто, затем trainNetwork использует Scale свойство как начальное значение. Если Scale пусто, затем trainNetwork использует инициализатор, заданный ScaleInitializer.

В учебное время:

  • Для 2D входа, Scale 1 1 NumChannels массив положительных чисел.

  • Для 3-D входа, Scale 1 1 1 NumChannels массив положительных чисел.

Канал возмещает β в виде числового массива.

Смещения канала являются настраиваемыми параметрами. При обучении сети, если Offset непусто, затем trainNetwork использует Offset свойство как начальное значение. Если Offset пусто, затем trainNetwork использует инициализатор, заданный OffsetInitializer.

В учебное время:

  • Для 2D входа, Offset 1 1 NumChannels массив.

  • Для 3-D входа, Offset 1 1 1 NumChannels массив.

Изучите уровень и регуляризацию

Фактор скорости обучения для масштабных коэффициентов в виде неотрицательного скаляра.

Программное обеспечение умножает этот фактор на глобальную скорость обучения, чтобы определить скорость обучения для масштабных коэффициентов в слое. Например, если ScaleLearnRateFactor 2, затем скорость обучения для масштабных коэффициентов в слое является дважды текущей глобальной скоростью обучения. Программное обеспечение определяет глобальную скорость обучения на основе настроек, заданных с trainingOptions функция.

Фактор скорости обучения для смещений в виде неотрицательного скаляра.

Программное обеспечение умножает этот фактор на глобальную скорость обучения, чтобы определить скорость обучения для смещений в слое. Например, если OffsetLearnRateFactor равняется 2, затем скорость обучения для смещений в слое является дважды текущей глобальной скоростью обучения. Программное обеспечение определяет глобальную скорость обучения на основе настроек, заданных с trainingOptions функция.

Фактор регуляризации L2 для масштабных коэффициентов в виде неотрицательного скаляра.

Программное обеспечение умножает этот фактор на глобальный фактор регуляризации L2, чтобы определить скорость обучения для масштабных коэффициентов в слое. Например, если ScaleL2Factor 2, затем регуляризация L2 для смещений в слое является дважды глобальным фактором регуляризации L2. Можно задать глобальный фактор регуляризации L2 использование trainingOptions функция.

Фактор регуляризации L2 для смещений в виде неотрицательного скаляра.

Программное обеспечение умножает этот фактор на глобальный фактор регуляризации L2, чтобы определить скорость обучения для смещений в слое. Например, если OffsetL2Factor 2, затем регуляризация L2 для смещений в слое является дважды глобальным фактором регуляризации L2. Можно задать глобальный фактор регуляризации L2 использование trainingOptions функция.

Слой

Имя слоя в виде вектора символов или строкового скаляра. Чтобы включать слой в график слоев, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем и Name установлен в '', затем программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один выход только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один выход только.

Типы данных: cell

Примеры

свернуть все

Скрипт Open Live Script

Создайте слой нормализации партии. с именем 'BN1'.

layer = batchNormalizationLayer('Name','BN1')
layer = 
  BatchNormalizationLayer with properties:

               Name: 'BN1'
        NumChannels: 'auto'
        TrainedMean: []
    TrainedVariance: []

   Hyperparameters
            Epsilon: 1.0000e-05

   Learnable Parameters
             Offset: []
              Scale: []

  Show all properties

Включайте слои нормализации партии. в Layer массив.

layers = [
    imageInputLayer([32 32 3]) 
  
    convolution2dLayer(3,16,'Padding',1)
    batchNormalizationLayer
    reluLayer   
    
    maxPooling2dLayer(2,'Stride',2)
    
    convolution2dLayer(3,32,'Padding',1)
    batchNormalizationLayer
    reluLayer
          
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer
    ]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             32x32x3 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [1  1  1  1]
     3   ''   Batch Normalization     Batch normalization
     4   ''   ReLU                    ReLU
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [1  1  1  1]
     7   ''   Batch Normalization     Batch normalization
     8   ''   ReLU                    ReLU
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Больше о

развернуть все

Алгоритмы

Нормализация партии. нормирует свои входные параметры xi первым вычислением среднего μB и отклонения σB2 по мини-пакету и по каждому входному каналу. Затем это вычисляет нормированные активации как

xi^=xi−μBσB2+ϵ.

Здесь, ϵ (свойство Epsilon) улучшает числовую устойчивость, когда мини-пакетное отклонение очень мало. Допускать возможность, что входные параметры с нулевым средним значением и модульным отклонением не оптимальны для слоя, который следует за слоем нормализации партии., слой нормализации партии. дальнейшие сдвиги и масштабирует активации как

yi=γx^i+β.

Здесь, смещение β и масштабный коэффициент γ (Offset и Scale свойства), настраиваемые параметры, которые обновляются во время сетевого обучения.

Когда сетевое обучение заканчивается, слой нормализации партии. вычисляет среднее значение и отклонение по полному набору обучающих данных и хранит их в TrainedMean и TrainedVariance свойства. Когда вы используете обучивший сеть, чтобы сделать предсказания на новых изображениях, слой использует обученное среднее значение и отклонение вместо мини-среднего значения партии и отклонение, чтобы нормировать активации.

Ссылки

[1] Иоффе, Сергей и Кристиан Сзеджеди. "Нормализация партии.: Ускорение глубокого сетевого обучения путем сокращения внутреннего ковариационного сдвига". предварительно распечатайте, arXiv:1502.03167 (2015).

Расширенные возможности

Генерация кода графического процессора
Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.

Смотрите также

| | | |

Темы

Введенный в R2017b

Документация Deep Learning Toolbox
Поддержка
Для просмотра документации необходимо авторизоваться на сайте