Exponenta Banner

leakyReluLayer

Текучий слой Rectified Linear Unit (ReLU)

расширьте все на странице

Описание

Текучий слой ReLU выполняет пороговую операцию, где любое входное значение меньше, чем нуль умножается на фиксированный скаляр.

Эта операция эквивалентна:

f(x)={x,x≥0scale*x,x<0.

Создание

Синтаксис

layer = leakyReluLayer
layer = leakyReluLayer(scale)
layer = leakyReluLayer(___,'Name',Name)

Описание

layer = leakyReluLayer возвращает текучий слой ReLU.

layer = leakyReluLayer(scale) возвращает текучий слой ReLU со скалярным множителем для отрицательных входных параметров, равных scale.

пример

layer = leakyReluLayer(___,'Name',Name) возвращает текучий слой ReLU и устанавливает дополнительный Name свойство.

Свойства

развернуть все

Текучий ReLU

Скалярный множитель для отрицательных входных значений в виде числового скаляра.

Пример: 0.4

Слой

Имя слоя в виде вектора символов или строкового скаляра. Чтобы включать слой в график слоев, необходимо задать непустое уникальное имя слоя. Если вы обучаете серийную сеть со слоем и Name установлен в '', затем программное обеспечение автоматически присваивает имя к слою в учебное время.

Типы данных: char | string

Количество входных параметров слоя. Этот слой принимает один вход только.

Типы данных: double

Введите имена слоя. Этот слой принимает один вход только.

Типы данных: cell

Количество выходных параметров слоя. Этот слой имеет один выход только.

Типы данных: double

Выведите имена слоя. Этот слой имеет один выход только.

Типы данных: cell

Примеры

свернуть все

Скрипт Open Live Script

Создайте текучий слой ReLU с именем 'leaky1' и скалярный множитель для отрицательных входных параметров равняется 0,1.

layer = leakyReluLayer(0.1,'Name','leaky1')
layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Включайте текучий слой ReLU в Layer массив.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Ссылки
[1] Маас, Эндрю Л., Они И. Хэннун и Эндрю И. Ын. "Нелинейность выпрямителя улучшает нейронную сеть акустические модели". В материалах ICML, издание 30, № 1. 2013.
Расширенные возможности
Генерация кода графического процессора
 Сгенерируйте код CUDA® для NVIDIA® графические процессоры с помощью GPU Coder™.
Смотрите также
 | 
Темы
Введенный в R2017b

    




























Документация Deep Learning Toolbox





Поддержка