CrossChannelNormalizationLayer

Мудрый каналом локальный слой нормализации ответа

расширьте все на странице

Описание

Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию.

Создание

Синтаксис

layer = crossChannelNormalizationLayer(windowChannelSize)

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)

Описание

layer = crossChannelNormalizationLayer(windowChannelSize) создает мудрый каналом локальный слой нормализации ответа и устанавливает свойство WindowChannelSize.

пример

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value) устанавливает дополнительные свойства WindowChannelSize, Alpha, Beta, K и Name с помощью пар "имя-значение". Например, crossChannelNormalizationLayer(5,'K',1) создает локальный слой нормализации ответа для мудрой каналом нормализации с размером окна 5 и гиперпараметр K 1. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в одинарные кавычки.

Свойства

развернуть все

Межканальная нормализация

`WindowChannelSize` — Размер окна канала
положительное целое число

Размер окна канала, которое управляет количеством каналов, которые используются для нормализации каждого элемента, задал как положительное целое число.

Если WindowChannelSize даже, то окно асимметрично. Программное обеспечение смотрит на предыдущие каналы floor((w-1)/2) и следующие каналы floor(w/2). Например, если WindowChannelSize равняется 4, то слой нормирует каждый элемент своим соседом в предыдущем канале и его соседями в следующих двух каналах.

Пример 5

`\alpha` гиперпараметр α в нормализации
0,0001 (значения по умолчанию) | числовой скаляр

Гиперпараметр α в нормализации (термин множителя), заданный в виде числа.

Пример: 0.0002

`\beta` гиперпараметр β в нормализации
0,75 (значения по умолчанию) | числовой скаляр

Гиперпараметр β в нормализации, заданной в виде числа. Значение Beta должно быть больше, чем или равным 0,01.

Пример: 0.8

`K` гиперпараметр K в нормализации
2 (значения по умолчанию) | числовой скаляр

Гиперпараметр K в нормализации, заданной в виде числа. Значение K должно быть больше, чем или равным ^10-5.

Пример: 2.5

Слой

`Имя` Имя слоя
`''` (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

Имя слоя, заданное как вектор символов или скаляр строки. Чтобы включать слой в график слоя, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем, и Name установлен в '', то программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

`NumInputs` — Количество входных параметров
1 (значение по умолчанию)

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

`InputNames` — Введите имена
`{'in'}` (значение по умолчанию)

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

`NumOutputs` Количество выходных параметров
1 (значение по умолчанию)

Количество выходных параметров слоя. Этот слой имеет один вывод только.

Типы данных: double

`OutputNames` — Выведите имена
`{'out'}` (значение по умолчанию)

Выведите имена слоя. Этот слой имеет один вывод только.

Типы данных: cell

Примеры

свернуть все

Создайте локальный слой нормализации ответа

Скрипт Open Live Script

Создайте локальный слой нормализации ответа для мудрой каналом нормализации, где окно пяти каналов нормирует каждый элемент и аддитивную постоянную для нормализатора $K$ 1.

layer = crossChannelNormalizationLayer(5,'K',1)

layer = 
  CrossChannelNormalizationLayer with properties:

                 Name: ''

   Hyperparameters
    WindowChannelSize: 5
                Alpha: 1.0000e-04
                 Beta: 0.7500
                    K: 1

Включайте локальный слой нормализации ответа в массив Layer.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    crossChannelNormalizationLayer(3)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input                   28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution                   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                          ReLU
     4   ''   Cross Channel Normalization   cross channel normalization with 3 channels per element
     5   ''   Fully Connected               10 fully connected layer
     6   ''   Softmax                       softmax
     7   ''   Classification Output         crossentropyex

Больше о

развернуть все

Локальная нормализация ответа

Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию.

Этот слой выполняет мудрую каналом локальную нормализацию ответа. Это обычно следует за слоем активации ReLU. Этот слой заменяет каждый элемент на нормированное значение, это получает использование элементов из определенного числа соседних каналов (элементы в окне нормализации). Таким образом, для каждого элемента $x$ во входе trainNetwork вычисляет нормированное значение $x^{'}$ использование

$x^{'} = \frac{x}{{(K + \frac{α * s s}{w i n d o w C h a n n e l S i z e})}^{β}},$

где K, α и β являются гиперпараметрами в нормализации, и ss является суммой квадратов элементов в окне [1] нормализации. Необходимо задать размер окна нормализации с помощью аргумента windowChannelSize функции crossChannelNormalizationLayer. Можно также задать гиперпараметры с помощью Alpha, Beta и аргументов пары "имя-значение" K.

Предыдущая формула нормализации немного отличается, чем, что представлено в [1]. Можно получить эквивалентную формулу путем умножения значения alpha на windowChannelSize.

Ссылки

[1] Krizhevsky, A. i. Sutskever и Г. Э. Хинтон. "Классификация ImageNet с глубокими сверточными нейронными сетями". Усовершенствования в нейронных системах обработки информации. Vol 25, 2012.

Документация

CrossChannelNormalizationLayer

Описание

Создание

Синтаксис

Описание

Свойства

Межканальная нормализация

`WindowChannelSize` — Размер окна канала
положительное целое число

`\alpha` гиперпараметр α в нормализации
0,0001 (значения по умолчанию) | числовой скаляр

`\beta` гиперпараметр β в нормализации
0,75 (значения по умолчанию) | числовой скаляр

`K` гиперпараметр K в нормализации
2 (значения по умолчанию) | числовой скаляр

Слой

`Имя` Имя слоя
`''` (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

`NumInputs` — Количество входных параметров
1 (значение по умолчанию)

`InputNames` — Введите имена
`{'in'}` (значение по умолчанию)

`NumOutputs` Количество выходных параметров
1 (значение по умолчанию)

`OutputNames` — Выведите имена
`{'out'}` (значение по умолчанию)

Примеры

Создайте локальный слой нормализации ответа

Больше о

Локальная нормализация ответа

Ссылки

Смотрите также

Темы

Введенный в R2016a

Документация Deep Learning Toolbox

Поддержка

Документация

CrossChannelNormalizationLayer

Описание

Создание

Синтаксис

Описание

Свойства

Межканальная нормализация

WindowChannelSize — Размер окна канала положительное целое число

\alpha гиперпараметр α в нормализации 0,0001 (значения по умолчанию) | числовой скаляр

\beta гиперпараметр β в нормализации 0,75 (значения по умолчанию) | числовой скаляр

K гиперпараметр K в нормализации 2 (значения по умолчанию) | числовой скаляр

Слой

Имя Имя слоя '' (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

NumInputs — Количество входных параметров 1 (значение по умолчанию)

InputNames — Введите имена {'in'} (значение по умолчанию)

NumOutputs Количество выходных параметров 1 (значение по умолчанию)

OutputNames — Выведите имена {'out'} (значение по умолчанию)

Примеры

Создайте локальный слой нормализации ответа

Больше о

Локальная нормализация ответа

Ссылки

Смотрите также

Темы

Введенный в R2016a

Документация Deep Learning Toolbox

Поддержка

`WindowChannelSize` — Размер окна канала
положительное целое число

`\alpha` гиперпараметр α в нормализации
0,0001 (значения по умолчанию) | числовой скаляр

`\beta` гиперпараметр β в нормализации
0,75 (значения по умолчанию) | числовой скаляр

`K` гиперпараметр K в нормализации
2 (значения по умолчанию) | числовой скаляр

`Имя` Имя слоя
`''` (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

`NumInputs` — Количество входных параметров
1 (значение по умолчанию)

`InputNames` — Введите имена
`{'in'}` (значение по умолчанию)

`NumOutputs` Количество выходных параметров
1 (значение по умолчанию)

`OutputNames` — Выведите имена
`{'out'}` (значение по умолчанию)