Exponenta Banner

leakyReluLayer

Утечка слоя Rectified Linear Unit (ReLU)

развернуть все на странице

Описание

Утечный слой ReLU выполняет операцию порога, где любое значение входа, меньше нуля, умножается на фиксированный скаляр.

Эта операция эквивалентна:

f(x)={x,x≥0scale*x,x<0.

Создание

Синтаксис

layer = leakyReluLayer
layer = leakyReluLayer(scale)
layer = leakyReluLayer(___,'Name',Name)

Описание

layer = leakyReluLayer возвращает утечку слоя ReLU.

layer = leakyReluLayer(scale) возвращает утечку слоя ReLU со скалярным умножителем для отрицательных входов, равных scale.

пример

layer = leakyReluLayer(___,'Name',Name) возвращает утечку слоя ReLU и устанавливает дополнительное Name свойство.

Свойства

расширить все

Утечка ReLU

Скалярный множитель для отрицательных значений входа, заданный как числовой скаляр.

Пример: 0.4

Слой

Имя слоя, заданное как вектор символов или строковый скаляр. Чтобы включить слой в график слоев, необходимо задать непустое уникальное имя слоя. Если вы обучаете последовательную сеть с слоем и Name установлено в ''затем программа автоматически присваивает слою имя во время обучения.

Типы данных: char | string

Количество входов слоя. Этот слой принимает только один вход.

Типы данных: double

Входные имена слоя. Этот слой принимает только один вход.

Типы данных: cell

Количество выходов слоя. Этот слой имеет только один выход.

Типы данных: double

Выходные имена слоя. Этот слой имеет только один выход.

Типы данных: cell

Примеры

свернуть все

Открыть Live Script

Создайте утечку слоя ReLU с именем 'leaky1' и скалярный множитель для отрицательных входов, равный 0,1.

layer = leakyReluLayer(0.1,'Name','leaky1')
layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Включите утечку слоя ReLU в Layer массив.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Ссылки
[1] Maas, Andrew L., Awni Y. Hannun, and Andrew Y. Ng. Нелинейности выпрямителя улучшают акустические модели нейронной сети. В Proc. ICML, том 30, № 1. 2013.
Расширенные возможности
Генерация кода C/C + +
 Сгенерируйте код C и C++ с помощью Coder™ MATLAB ®
.
Генерация кода GPU

Сгенерируйте код CUDA ® для графических процессоров NVIDIA ® с помощью GPU Coder™
.
См. также
 |  |  | 
Темы
Введенный в R2017b

    




























Документация по Deep Learning Toolbox





Поддержка