crossChannelNormalizationLayer

Слой нормализации локального отклика по каналам

развернуть все на странице

Описание

Слой нормализации локального отклика (перекрестного канала) канала выполняет нормализацию канала.

Создание

Синтаксис

layer = crossChannelNormalizationLayer(windowChannelSize)

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value)

Описание

layer = crossChannelNormalizationLayer(windowChannelSize) создает слой нормализации локального отклика по каналу и устанавливает WindowChannelSize свойство.

пример

layer = crossChannelNormalizationLayer(windowChannelSize,Name,Value) устанавливает необязательные свойства WindowChannelSize, Alpha, Beta, K, и Name использование пар "имя-значение". Для примера, crossChannelNormalizationLayer(5,'K',1) создает локальный слой нормализации отклика для нормализации по каналу с размером окна 5 и K гиперпараметром 1. Можно задать несколько пары "имя-значение". Заключайте каждое имя свойства в одинарные кавычки.

Свойства

расширить все

Межканальная нормализация

`WindowChannelSize` - Размер окна канала
положительное целое число

Размер окна канала, которое управляет количеством каналов, которые используются для нормализации каждого элемента, задается как положительное целое число.

Если WindowChannelSize является четным, тогда окно является асимметричным. Программа просматривает предыдущие floor((w-1)/2) каналы и следующие floor(w/2) каналы. Для примера, если WindowChannelSize равен 4, затем слой нормализует каждый элемент своим соседом в предыдущем канале и своими соседями в следующих двух каналах.

Пример: 5

`Alpha` - α гиперпараметр при нормализации
0,0001 (по умолчанию) | числовым скаляром

α гиперпараметр в нормализации (член умножения), заданный как числовой скаляр.

Пример: 0.0002

`Beta` - β гиперпараметр при нормализации
0,75 (по умолчанию) | числовым скаляром

β гиперпараметр в нормализации, заданный как числовой скаляр. Значение Beta должно быть больше или равно 0,01.

Пример: 0.8

`K` - K гиперпараметр в нормализации
2 (по умолчанию) | числовой скаляр

K гиперпараметр в нормализации, заданный как числовой скаляр. Значение K должно быть больше или равно 10^-5.

Пример: 2.5

Слой

`Name` - Имя слоя
`''` (по умолчанию) | символьный вектор | строковый скаляр

Имя слоя, заданное как вектор символов или строковый скаляр. Чтобы включить слой в график слоев, необходимо задать непустое уникальное имя слоя. Если вы обучаете последовательную сеть с слоем и Name установлено в ''затем программа автоматически присваивает слою имя во время обучения.

Типы данных: char | string

`NumInputs` - Количество входов
1 (по умолчанию)

Количество входов слоя. Этот слой принимает только один вход.

Типы данных: double

`InputNames` - Входные имена
`{'in'}` (по умолчанию)

Входные имена слоя. Этот слой принимает только один вход.

Типы данных: cell

`NumOutputs` - Количество выходов
1 (по умолчанию)

Количество выходов слоя. Этот слой имеет только один выход.

Типы данных: double

`OutputNames` - Выходные имена
`{'out'}` (по умолчанию)

Выходные имена слоя. Этот слой имеет только один выход.

Типы данных: cell

Примеры

свернуть все

Создайте локальный слой нормализации отклика

Открыть Live Script

Создайте локальный слой нормализации отклика для нормализации по каналу, где окно из пяти каналов нормализует каждый элемент, и аддитивную константу для нормализатора $K$ равен 1.

layer = crossChannelNormalizationLayer(5,'K',1)

layer = 
  CrossChannelNormalizationLayer with properties:

                 Name: ''

   Hyperparameters
    WindowChannelSize: 5
                Alpha: 1.0000e-04
                 Beta: 0.7500
                    K: 1

Включите локальный слой нормализации отклика в Layer массив.

layers = [ ...
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    reluLayer
    crossChannelNormalizationLayer(3)
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]

layers = 
  7x1 Layer array with layers:

     1   ''   Image Input                   28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution                   20 5x5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   ReLU                          ReLU
     4   ''   Cross Channel Normalization   cross channel normalization with 3 channels per element
     5   ''   Fully Connected               10 fully connected layer
     6   ''   Softmax                       softmax
     7   ''   Classification Output         crossentropyex

Ограничения

Этот слой не поддерживает входы 3-D изображений или входы вектора последовательности.

Подробнее о

расширить все

Нормализация локального ответа

Слой нормализации локального отклика (перекрестного канала) канала выполняет нормализацию канала.

Этот слой выполняет канальную локальную нормализацию отклика. Обычно он следует за слоем активации ReLU. Этот слой заменяет каждый элемент нормированным значением, которое он получает с помощью элементов из определенного количества соседних каналов (элементов в окне нормализации). То есть для каждого элемента $x$ во входе, trainNetwork вычисляет нормированное значение $x^{'}$ использование

$x^{'} = \frac{x}{{(K + \frac{α * s s}{w i n d o w C h a n n e l S i z e})}^{β}},$

где K, α и β - гиперпараметры в нормализации, а ss - сумма квадратов элементов в окне нормализации [1]. Размер окна нормализации необходимо задать с помощью windowChannelSize аргумент crossChannelNormalizationLayer функция. Вы также можете задать гиперпараметры, используя Alpha, Beta, и K Аргументы пары "имя-значение".

Предыдущая формула нормализации немного отличается от той, которая представлена в [1]. Эквивалентную формулу можно получить, умножив alpha значение по windowChannelSize.

Ссылки

[1] Крижевский, А., И. Суцкевер, и Г. Е. Хинтон. «Классификация ImageNet с глубокими сверточными нейронными сетями». Усовершенствования в системах нейронной обработки информации. Том 25, 2012.

Расширенные возможности

Генерация кода C/C + +
Сгенерируйте код C и C++ с помощью Coder™ MATLAB ®

Генерация кода GPU
Сгенерируйте код CUDA ® для графических процессоров NVIDIA ® с помощью GPU Coder™

См. также

averagePooling2dLayer | convolution2dLayer | maxPooling2dLayer

Темы

Введенный в R2016a

Документация

crossChannelNormalizationLayer

Описание

Создание

Синтаксис

Описание

Свойства

Межканальная нормализация

`WindowChannelSize` - Размер окна канала
положительное целое число

`Alpha` - α гиперпараметр при нормализации
0,0001 (по умолчанию) | числовым скаляром

`Beta` - β гиперпараметр при нормализации
0,75 (по умолчанию) | числовым скаляром

`K` - K гиперпараметр в нормализации
2 (по умолчанию) | числовой скаляр

Слой

`Name` - Имя слоя
`''` (по умолчанию) | символьный вектор | строковый скаляр

`NumInputs` - Количество входов
1 (по умолчанию)

`InputNames` - Входные имена
`{'in'}` (по умолчанию)

`NumOutputs` - Количество выходов
1 (по умолчанию)

`OutputNames` - Выходные имена
`{'out'}` (по умолчанию)

Примеры

Создайте локальный слой нормализации отклика

Ограничения

Подробнее о

Нормализация локального ответа

Ссылки

Расширенные возможности

Генерация кода C/C + +
Сгенерируйте код C и C++ с помощью Coder™ MATLAB ®

Генерация кода GPU
Сгенерируйте код CUDA ® для графических процессоров NVIDIA ® с помощью GPU Coder™

См. также

Темы

Документация по Deep Learning Toolbox

Поддержка

Документация

crossChannelNormalizationLayer

Описание

Создание

Синтаксис

Описание

Свойства

Межканальная нормализация

WindowChannelSize - Размер окна канала положительное целое число

Alpha - α гиперпараметр при нормализации 0,0001 (по умолчанию) | числовым скаляром

Beta - β гиперпараметр при нормализации 0,75 (по умолчанию) | числовым скаляром

K - K гиперпараметр в нормализации 2 (по умолчанию) | числовой скаляр

Слой

Name - Имя слоя '' (по умолчанию) | символьный вектор | строковый скаляр

NumInputs - Количество входов 1 (по умолчанию)

InputNames - Входные имена {'in'} (по умолчанию)

NumOutputs - Количество выходов 1 (по умолчанию)

OutputNames - Выходные имена {'out'} (по умолчанию)

Примеры

Создайте локальный слой нормализации отклика

Ограничения

Подробнее о

Нормализация локального ответа

Ссылки

Расширенные возможности

Генерация кода C/C + + Сгенерируйте код C и C++ с помощью Coder™ MATLAB ®

Генерация кода GPU Сгенерируйте код CUDA ® для графических процессоров NVIDIA ® с помощью GPU Coder™

См. также

Темы

Документация по Deep Learning Toolbox

Поддержка

`WindowChannelSize` - Размер окна канала
положительное целое число

`Alpha` - α гиперпараметр при нормализации
0,0001 (по умолчанию) | числовым скаляром

`Beta` - β гиперпараметр при нормализации
0,75 (по умолчанию) | числовым скаляром

`K` - K гиперпараметр в нормализации
2 (по умолчанию) | числовой скаляр

`Name` - Имя слоя
`''` (по умолчанию) | символьный вектор | строковый скаляр

`NumInputs` - Количество входов
1 (по умолчанию)

`InputNames` - Входные имена
`{'in'}` (по умолчанию)

`NumOutputs` - Количество выходов
1 (по умолчанию)

`OutputNames` - Выходные имена
`{'out'}` (по умолчанию)

Генерация кода C/C + +
Сгенерируйте код C и C++ с помощью Coder™ MATLAB ®

Генерация кода GPU
Сгенерируйте код CUDA ® для графических процессоров NVIDIA ® с помощью GPU Coder™