CrossChannelNormalizationLayer

Мудрый каналом локальный слой нормализации ответа

расширьте все на странице

Описание

Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию.

Создание

Синтаксис

layer = crossChannelNormalizationLayer(windowChannelSize)

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)

Описание

layer = crossChannelNormalizationLayer(windowChannelSize) создает мудрый каналом локальный слой нормализации ответа и устанавливает WindowChannelSize свойство.

пример

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value) устанавливает дополнительные свойства WindowChannelSize\alpha\betaK, и Name использование пар "имя-значение". Например, crossChannelNormalizationLayer(5,'K',1) создает локальный слой нормализации ответа для мудрой каналом нормализации с размером окна 5 и гиперпараметр K 1. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в одинарные кавычки.

Свойства

развернуть все

Межканальная нормализация

`WindowChannelSize` — Размер окна канала
положительное целое число

Размер окна канала, которое управляет количеством каналов, которые используются в нормализации каждого элемента, задал как положительное целое число.

Если WindowChannelSize даже, затем окно асимметрично. Программное обеспечение смотрит на предыдущий floor((w-1)/2) каналы и следующий floor(w/2) каналы. Например, если WindowChannelSize 4, затем слой нормирует каждый элемент своим соседом в предыдущем канале и его соседями в следующих двух каналах.

Пример 5

`Alpha` — гиперпараметр α в нормализации
0,0001 (значения по умолчанию) | числовой скаляр

Гиперпараметр α в нормализации (термин множителя), заданный в виде числа.

Пример: 0.0002

`Beta` — гиперпараметр β в нормализации
0,75 (значения по умолчанию) | числовой скаляр

Гиперпараметр β в нормализации, заданной в виде числа. Значение Beta должен быть больше или быть равен 0,01.

Пример: 0.8

`K` — гиперпараметр K в нормализации
2 (значения по умолчанию) | числовой скаляр

Гиперпараметр K в нормализации, заданной в виде числа. Значение K должен быть больше или быть равен ^10-5.

Пример: 2.5

Слой

`Name` — Имя слоя
`''` (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

Имя слоя, заданное как вектор символов или скаляр строки. Чтобы включать слой в график слоя, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем и Name установлен в '', затем программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

`NumInputs` — Количество входных параметров
1 (значение по умолчанию)

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

`InputNames` — Введите имена
`{'in'}` (значение по умолчанию)

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

`NumOutputs` — Количество выходных параметров
1 (значение по умолчанию)

Количество выходных параметров слоя. Этот слой имеет один выход только.

Типы данных: double

`OutputNames` — Выведите имена
`{'out'}` (значение по умолчанию)

Выведите имена слоя. Этот слой имеет один выход только.

Типы данных: cell

Примеры

свернуть все

Создайте локальный слой нормализации ответа

Скрипт Open Live Script

Создайте локальный слой нормализации ответа для мудрой каналом нормализации, где окно пяти каналов нормирует каждый элемент и аддитивную постоянную для нормализатора $K$ 1.

layer = crossChannelNormalizationLayer(5,'K',1)

layer = 
  CrossChannelNormalizationLayer with properties:

                 Name: ''

   Hyperparameters
    WindowChannelSize: 5
                Alpha: 1.0000e-04
                 Beta: 0.7500
                    K: 1

Включайте локальный слой нормализации ответа в Layer массив.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    crossChannelNormalizationLayer(3)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input                   28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution                   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                          ReLU
     4   ''   Cross Channel Normalization   cross channel normalization with 3 channels per element
     5   ''   Fully Connected               10 fully connected layer
     6   ''   Softmax                       softmax
     7   ''   Classification Output         crossentropyex

Больше о

развернуть все

Локальная нормализация ответа

Мудрый каналом локальный ответ (межканальный) слой нормализации выполняет мудрую каналом нормализацию.

Этот слой выполняет мудрую каналом локальную нормализацию ответа. Это обычно следует за слоем активации ReLU. Этот слой заменяет каждый элемент на нормированное значение, это получает использование элементов из определенного числа соседних каналов (элементы в окне нормализации). Таким образом, для каждого элемента $x$ во входе, trainNetwork вычисляет нормированное значение $x^{'}$ использование

$x^{'} = \frac{x}{{(K + \frac{α * s s}{w i n d o w C h a n n e l S i z e})}^{β}},$

где K, α и β являются гиперпараметрами в нормализации, и ss является суммой квадратов элементов в окне [1] нормализации. Необходимо задать размер окна нормализации с помощью windowChannelSize аргумент crossChannelNormalizationLayer функция. Можно также задать гиперпараметры с помощью Alpha\beta, и K аргументы в виде пар имя-значение.

Предыдущая формула нормализации немного отличается, чем, что представлено в [1]. Можно получить эквивалентную формулу путем умножения alpha значение windowChannelSize.

Ссылки

[1] Krizhevsky, A. i. Sutskever и Г. Э. Хинтон. "Классификация ImageNet с глубокими сверточными нейронными сетями". Усовершенствования в нейронных системах обработки информации. Vol 25, 2012.

Документация

CrossChannelNormalizationLayer

Описание

Создание

Синтаксис

Описание

Свойства

Межканальная нормализация

`WindowChannelSize` — Размер окна канала
положительное целое число

`Alpha` — гиперпараметр α в нормализации
0,0001 (значения по умолчанию) | числовой скаляр

`Beta` — гиперпараметр β в нормализации
0,75 (значения по умолчанию) | числовой скаляр

`K` — гиперпараметр K в нормализации
2 (значения по умолчанию) | числовой скаляр

Слой

`Name` — Имя слоя
`''` (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

`NumInputs` — Количество входных параметров
1 (значение по умолчанию)

`InputNames` — Введите имена
`{'in'}` (значение по умолчанию)

`NumOutputs` — Количество выходных параметров
1 (значение по умолчанию)

`OutputNames` — Выведите имена
`{'out'}` (значение по умолчанию)

Примеры

Создайте локальный слой нормализации ответа

Больше о

Локальная нормализация ответа

Ссылки

Расширенные возможности

Генерация кода графического процессора
Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.

Смотрите также

Темы

Введенный в R2016a

Документация Deep Learning Toolbox

Поддержка

Документация

CrossChannelNormalizationLayer

Описание

Создание

Синтаксис

Описание

Свойства

Межканальная нормализация

WindowChannelSize — Размер окна канала положительное целое число

Alpha — гиперпараметр α в нормализации 0,0001 (значения по умолчанию) | числовой скаляр

Beta — гиперпараметр β в нормализации 0,75 (значения по умолчанию) | числовой скаляр

K — гиперпараметр K в нормализации 2 (значения по умолчанию) | числовой скаляр

Слой

Name — Имя слоя '' (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

NumInputs — Количество входных параметров 1 (значение по умолчанию)

InputNames — Введите имена {'in'} (значение по умолчанию)

NumOutputs — Количество выходных параметров 1 (значение по умолчанию)

OutputNames — Выведите имена {'out'} (значение по умолчанию)

Примеры

Создайте локальный слой нормализации ответа

Больше о

Локальная нормализация ответа

Ссылки

Расширенные возможности

Генерация кода графического процессора Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.

Смотрите также

Темы

Введенный в R2016a

Документация Deep Learning Toolbox

Поддержка

`WindowChannelSize` — Размер окна канала
положительное целое число

`Alpha` — гиперпараметр α в нормализации
0,0001 (значения по умолчанию) | числовой скаляр

`Beta` — гиперпараметр β в нормализации
0,75 (значения по умолчанию) | числовой скаляр

`K` — гиперпараметр K в нормализации
2 (значения по умолчанию) | числовой скаляр

`Name` — Имя слоя
`''` (значение по умолчанию) | вектор символов | представляет скаляр в виде строки

`NumInputs` — Количество входных параметров
1 (значение по умолчанию)

`InputNames` — Введите имена
`{'in'}` (значение по умолчанию)

`NumOutputs` — Количество выходных параметров
1 (значение по умолчанию)

`OutputNames` — Выведите имена
`{'out'}` (значение по умолчанию)

Генерация кода графического процессора
Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.