Exponenta Banner

leakyReluLayer

Текучий слой Rectified Linear Unit (ReLU)

расширьте все на странице

Описание

Текучий слой ReLU выполняет пороговую операцию, где любое входное значение меньше, чем нуль умножается на фиксированный скаляр.

Эта операция эквивалентна:

f(x)={x,x≥0scale*x,x<0.

Создание

Синтаксис

layer = leakyReluLayer
layer = leakyReluLayer(scale)
layer = leakyReluLayer(___,'Name',Name)

Описание

layer = leakyReluLayer возвращает текучий слой ReLU.

layer = leakyReluLayer(scale) возвращает текучий слой ReLU со скалярным множителем для отрицательных входных параметров, равных scale.

пример

layer = leakyReluLayer(___,'Name',Name) возвращает текучий слой ReLU и устанавливает дополнительное свойство Name.

Свойства

развернуть все

Текучий ReLU

Скалярный множитель для отрицательных входных значений, заданных в виде числа.

Пример: 0.4

Слой

Имя слоя, заданное как вектор символов или скаляр строки. Чтобы включать слой в график слоя, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем, и Name установлен в '', то программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один вывод только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один вывод только.

Типы данных: cell

Примеры

свернуть все

Скрипт Open Live Script

Создайте текучий слой ReLU с именем 'leaky1' и скалярный множитель для отрицательных входных параметров, равных 0,1.

layer = leakyReluLayer(0.1,'Name','leaky1')
layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Включайте текучий слой ReLU в массив Layer.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Ссылки
[1] Маас, Эндрю Л., Они И. Хэннун и Эндрю И. Ын. "Нелинейность выпрямителя улучшает нейронную сеть акустические модели". В материалах ICML, издание 30, № 1. 2013.
Смотрите также
 | 
Темы
Введенный в R2017b

    

























Документация Deep Learning Toolbox





Поддержка