"Слой ""с утечкой"" Rectified Linear Unit (ReLU)"
Текучий слой ReLU выполняет пороговую операцию, где любое входное значение меньше, чем нуль умножается на фиксированный скаляр.
Эта операция эквивалентна:
возвращает текучий слой ReLU.layer
= leakyReluLayer
возвращает текучий слой ReLU со скалярным множителем для отрицательных входных параметров, равных layer
= leakyReluLayer(scale
)scale
.
[1] Маас, Эндрю Л., Они И. Хэннун и Эндрю И. Ын. "Нелинейность выпрямителя улучшает нейронную сеть акустические модели". В материалах ICML, издание 30, № 1. 2013.