leakyReluLayer

Текучий слой Rectified Linear Unit (ReLU)

Описание

Текучий слой ReLU выполняет пороговую операцию, где любое входное значение меньше, чем нуль умножается на фиксированный скаляр.

Эта операция эквивалентна:

f(x)={x,x0scale*x,x<0.

Создание

Описание

layer = leakyReluLayer возвращает текучий слой ReLU.

layer = leakyReluLayer(scale) возвращает текучий слой ReLU со скалярным множителем для отрицательных входных параметров, равных scale.

пример

layer = leakyReluLayer(___,'Name',Name) возвращает текучий слой ReLU и устанавливает дополнительный Name свойство.

Свойства

развернуть все

Текучий ReLU

Скалярный множитель для отрицательных входных значений в виде числового скаляра.

Пример: 0.4

Слой

Имя слоя в виде вектора символов или строкового скаляра. Чтобы включать слой в график слоев, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем и Name установлен в '', затем программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один выход только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один выход только.

Типы данных: cell

Примеры

свернуть все

Создайте текучий слой ReLU с именем 'leaky1' и скалярный множитель для отрицательных входных параметров равняется 0,1.

layer = leakyReluLayer(0.1,'Name','leaky1')
layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Включайте текучий слой ReLU в Layer массив.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Ссылки

[1] Маас, Эндрю Л., Они И. Хэннун и Эндрю И. Ын. "Нелинейность выпрямителя улучшает нейронную сеть акустические модели". В материалах ICML, издание 30, № 1. 2013.

Расширенные возможности

Генерация кода графического процессора
Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.

Введенный в R2017b

Для просмотра документации необходимо авторизоваться на сайте