Exponenta Banner

eluLayer

Слой Exponential linear unit (ELU)

расширьте все на странице

Описание

Слой активации ELU выполняет единичную операцию на положительных входных параметрах и экспоненциальную нелинейность на отрицательных входных параметрах.

Слой выполняет следующую операцию:

f(x)={x,x≥0αexpx  ) - 1),x<0

Значение по умолчанию α равняется 1. Задайте значение α для слоя путем установки Alpha свойство.

Создание

Синтаксис

layer = eluLayer
layer = eluLayer(alpha)
layer = eluLayer(___,'Name',Name)

Описание

layer = eluLayer создает слой ELU.

layer = eluLayer(alpha) создает слой ELU и задает Alpha свойство.

пример

layer = eluLayer(___,'Name',Name) дополнительно устанавливает дополнительный Name свойство с помощью любого из предыдущих синтаксисов. Например, eluLayer('Name','elu1') создает слой ELU с именем 'elu1'.

Свойства

развернуть все

ЭЛУ

Параметр нелинейности α в виде числового скаляра. Минимальное значение выхода слоя ELU равняется -α, и наклоном в отрицательных входных параметрах, приближающихся 0, является α.

Слой

Имя слоя в виде вектора символов или строкового скаляра. Чтобы включать слой в график слоев, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем и Name установлен в '', затем программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один выход только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один выход только.

Типы данных: cell

Примеры

свернуть все

Скрипт Open Live Script

Создайте слой экспоненциального линейного модуля (ELU) с именем 'elu1' и значение по умолчанию 1 для параметра нелинейности Alpha.

layer = eluLayer('Name','elu1')
layer = 
  ELULayer with properties:

     Name: 'elu1'
    Alpha: 1

  Show all properties

Включайте слой ELU в Layer массив.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    eluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    eluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   ELU                     ELU with Alpha 1
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   ELU                     ELU with Alpha 1
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Ссылки

[1] Clevert, Djork-Arné, Томас Антертинер и Сепп Хокрейтер. "Быстрая и точная глубокая сеть, учащаяся экспоненциальными линейными модулями (ELUs)". arXiv предварительно распечатывают arXiv:1511.07289 (2015).

Расширенные возможности

Генерация кода графического процессора
Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.

Смотрите также

| | | |

Темы

Введенный в R2019a

Документация Deep Learning Toolbox
Поддержка