Слой Rectified Linear Unit (ReLU)
Слой ReLU выполняет пороговую операцию к каждому элементу входа, где любое значение меньше, чем нуль обнуляется.
Эта операция эквивалентна
[1] Nair, Винод и Джеффри Э. Хинтон. "Исправленные линейные модули улучшают ограниченные машины Больцмана". В Продолжениях 27-й международной конференции по вопросам машинного обучения (ICML-10), стр 807-814. 2010.
batchNormalizationLayer
| clippedReluLayer
| Deep Network Designer | leakyReluLayer
| trainNetwork