Слой выпрямленных линейных единиц (ReLU)
Слой ReLU выполняет пороговую операцию к каждому элементу входа, где любое значение меньше, чем нуль обнуляется.
Эта операция эквивалентна
[1] Nair, Винод и Джеффри Э. Хинтон. "Исправленные линейные модули улучшают ограниченные машины Больцмана". В Продолжениях 27-й международной конференции по вопросам машинного обучения (ICML-10), стр 807-814. 2010.
trainNetwork | batchNormalizationLayer | leakyReluLayer | clippedReluLayer | swishLayer | Deep Network Designer