Слой Rectified Linear Unit (ReLU)
Слой ReLU выполняет операцию порога каждому элементу входа, где любое значение, меньше нуля, устанавливается в ноль.
Эта операция эквивалентна
[1] Наир, Винод и Джеффри Хинтон. «Исправленные линейные модули улучшают машины с ограничениями boltzmann». В Трудах 27-й международной конференции по машинному обучению (ICML-10), стр. 807-814. 2010.
batchNormalizationLayer
| clippedReluLayer
| Deep Network Designer | leakyReluLayer
| swishLayer
| trainNetwork