Отсеченный ReLU
Отсеченный слой ReLU выполняет пороговую операцию, где любое входное значение, меньше, чем нуль обнуляются и любое значение выше потолка усечения, установлено в тот потолок усечения.
Эта операция эквивалентна:
Это усечение препятствует тому, чтобы выход стал слишком большим.
[1] Hannun, Awni, Карл Кэз, Джаред Каспер, Брайан Кэйтанзаро, Грег Диэмос, Эрих Элзен, Райан Пренджер, и др. "Глубокая речь: Увеличение масштаба сквозного распознавания речи". Предварительно распечатайте, представленный 17 декабря 2014. http://arxiv.org/abs/1412.5567