Подрезанный слой Rectified Linear Unit (ReLU)
Обрезанный слой ReLU выполняет операцию порога, где любое входное значение, меньше нуля, устанавливается равным нулю, а любое значение над усечением устанавливается равным этому усечению.
Эта операция эквивалентна:
Это усечение препятствует тому, чтобы выход становился слишком большим.
[1] Hannun, Awni, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan Prenger, et al. Глубокая речь: масштабирование сквозного распознавания речи. Препринт, представленный 17 декабря 2014 года. http://arxiv.org/abs/1412.5567