Слой активации качания применяет функцию качания к входам слоя. Операция качания задается как . Слой качания не изменяет размер своего входа.
Слои активации, такие как слои качания, улучшают точность обучения для некоторых приложений и обычно следуют слоям свертки и нормализации. Существуют другие нелинейные слои активации, которые выполняют различные операции. Список слоев активации см. в разделе «Слои активации».