Exponenta Banner

CrossChannelNormalizationLayer

Мудрый каналом локальный слой нормализации ответа

расширьте все на странице

Описание

Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию.

Создание

Синтаксис

layer = crossChannelNormalizationLayer(windowChannelSize)
layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)

Описание

layer = crossChannelNormalizationLayer(windowChannelSize) создает мудрый каналом локальный слой нормализации ответа и устанавливает свойство WindowChannelSize.

пример

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value) устанавливает дополнительные свойства WindowChannelSize, Alpha, Beta, K и Name с помощью пар "имя-значение". Например, crossChannelNormalizationLayer(5,'K',1) создает локальный слой нормализации ответа для мудрой каналом нормализации с размером окна 5 и гиперпараметр K 1. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в одинарные кавычки.

Свойства

развернуть все

Межканальная нормализация

Размер окна канала, которое управляет количеством каналов, которые используются для нормализации каждого элемента, задал как положительное целое число.

Если WindowChannelSize даже, то окно асимметрично. Программное обеспечение смотрит на предыдущие каналы floor((w-1)/2) и следующие каналы floor(w/2). Например, если WindowChannelSize равняется 4, то слой нормирует каждый элемент своим соседом в предыдущем канале и его соседями в следующих двух каналах.

Пример 5

Гиперпараметр α в нормализации (термин множителя), заданный в виде числа.

Пример: 0.0002

Гиперпараметр β в нормализации, заданной в виде числа. Значение Beta должно быть больше, чем или равным 0,01.

Пример: 0.8

Гиперпараметр K в нормализации, заданной в виде числа. Значение K должно быть больше, чем или равным 10-5.

Пример: 2.5

Слой

Имя слоя, заданное как вектор символов или скаляр строки. Чтобы включать слой в график слоя, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем, и Name установлен в '', то программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один вывод только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один вывод только.

Типы данных: cell

Примеры

свернуть все

Скрипт Open Live Script

Создайте локальный слой нормализации ответа для мудрой каналом нормализации, где окно пяти каналов нормирует каждый элемент и аддитивную постоянную для нормализатора K 1.

layer = crossChannelNormalizationLayer(5,'K',1)
layer = 
  CrossChannelNormalizationLayer with properties:

                 Name: ''

   Hyperparameters
    WindowChannelSize: 5
                Alpha: 1.0000e-04
                 Beta: 0.7500
                    K: 1

Включайте локальный слой нормализации ответа в массив Layer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    crossChannelNormalizationLayer(3)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  7x1 Layer array with layers:

     1   ''   Image Input                   28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution                   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                          ReLU
     4   ''   Cross Channel Normalization   cross channel normalization with 3 channels per element
     5   ''   Fully Connected               10 fully connected layer
     6   ''   Softmax                       softmax
     7   ''   Classification Output         crossentropyex

Больше о

развернуть все

Ссылки

[1] Krizhevsky, A. i. Sutskever и Г. Э. Хинтон. "Классификация ImageNet с глубокими сверточными нейронными сетями". Усовершенствования в нейронных системах обработки информации. Vol 25, 2012.

Смотрите также

| |

Темы

Введенный в R2016a

Документация Deep Learning Toolbox
Поддержка