Слой Rectified Linear Unit (ReLU)
Слой ReLU выполняет пороговую операцию к каждому элементу входа, где любое значение меньше, чем нуль обнуляется.
Эта операция эквивалентна
layer = reluLayer
layer = reluLayer('Name',Name)
[1] Nair, Винод и Джеффри Э. Хинтон. "Исправленные линейные модули улучшают ограниченные машины Больцмана". В Продолжениях 27-й международной конференции по вопросам машинного обучения (ICML-10), стр 807-814. 2010.
batchNormalizationLayer
| clippedReluLayer
| leakyReluLayer
| trainNetwork