Exponenta Banner
exponenta event banner

leakyReluLayer

Слой выпрямленного линейного блока с утечкой (ReLU)

развернуть все на странице

Описание

Уровень ReLU с утечкой выполняет пороговую операцию, где любое входное значение, меньшее нуля, умножается на фиксированный скаляр.

Эта операция эквивалентна:

f (x) ={x,x≥0scale*x,x<0.

Создание

Синтаксис

слой = leakyReluLayer
layer = leakyReluLayer (масштаб)
layer = leakyReluLayer (___, 'Имя', Имя)

Описание

layer = leakyReluLayer возвращает уровень ReLU с утечкой.

layer = leakyReluLayer(scale) возвращает протекающий уровень ReLU со скалярным умножителем для отрицательных входов, равным scale.

пример

layer = leakyReluLayer(___,'Name',Name) возвращает уровень ReLU с утечкой и устанавливает необязательный Name собственность.

Свойства

развернуть все

Утечка ReLU

Скалярный множитель для отрицательных входных значений, заданный как числовой скаляр.

Пример: 0.4

Слой

Имя слоя, указанное как символьный вектор или строковый скаляр. Чтобы включить слой в график слоев, необходимо указать непустое уникальное имя слоя. Если вы обучаете последовательную сеть с уровнем и Name имеет значение ''затем программа автоматически присваивает имя слою во время обучения.

Типы данных: char | string

Количество входов слоя. Этот слой принимает только один вход.

Типы данных: double

Входные имена слоя. Этот слой принимает только один вход.

Типы данных: cell

Количество выходов уровня. Этот уровень имеет только один выход.

Типы данных: double

Выходные имена слоя. Этот уровень имеет только один выход.

Типы данных: cell

Примеры

свернуть все

Открыть сценарий в реальном времени

Создание протекающего слоя ReLU с именем 'leaky1' и скалярный множитель для отрицательных входов, равный 0,1.

layer = leakyReluLayer(0.1,'Name','leaky1')
layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

Включение протекающего слоя ReLU в Layer массив.

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer
    classificationLayer]
layers = 
  11x1 Layer array with layers:

     1   ''   Image Input             28x28x1 images with 'zerocenter' normalization
     2   ''   Convolution             16 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization     Batch normalization
     4   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     5   ''   Max Pooling             2x2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   Convolution             32 3x3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization     Batch normalization
     8   ''   Leaky ReLU              Leaky ReLU with scale 0.01
     9   ''   Fully Connected         10 fully connected layer
    10   ''   Softmax                 softmax
    11   ''   Classification Output   crossentropyex

Ссылки
[1] Маас, Эндрю Л., Авни Я. Ханнун и Эндрю Я. Нг. «Выпрямительные нелинейности улучшают акустические модели нейронных сетей». В Proc. ICML, том 30, № 1. 2013.
Расширенные возможности
Создание кода C/C + +
 Создайте код C и C++ с помощью MATLAB ® Coder™
.
Создание кода графического процессора

Создание кода CUDA ® для графических процессоров NVIDIA ® с помощью Coder™ графических процессоров
.
См. также
 |  |  | 
Темы
Представлен в R2017b

    




























Документация по инструментам для глубокого обучения





Поддержка