Утечка слоя Rectified Linear Unit (ReLU)
Утечный слой ReLU выполняет операцию порога, где любое значение входа, меньше нуля, умножается на фиксированный скаляр.
Эта операция эквивалентна:
[1] Maas, Andrew L., Awni Y. Hannun, and Andrew Y. Ng. Нелинейности выпрямителя улучшают акустические модели нейронной сети. В Proc. ICML, том 30, № 1. 2013.