Слой обрезанного выпрямленного линейного блока (ReLU)
Подрезанный слой ReLU выполняет пороговую операцию, при которой любое входное значение меньше нуля устанавливается равным нулю, а любое значение выше подрезанного потолка устанавливается на этот подрезанный потолок.
Эта операция эквивалентна:
={0,x<0x,0≤x<ceilingceiling,x≥ceiling.
Эта обрезка предотвращает слишком большой объем выходных данных.
[1] Ханнун, Авни, Карл Кейс, Джаред Каспер, Брайан Катансаро, Грег Диамос, Эрих Элсен, Райан Пренгер и др. «Глубокая речь: масштабирование сквозного распознавания речи». Препринт, представлен 17 декабря 2014 года. http://arxiv.org/abs/1412.5567