Слой активации свиста применяет функцию свиста на входные параметры слоя. Операцией свиста дают . Слой свиста не изменяет размер своего входа.
Слои активации, такие как слои свиста улучшают учебную точность для некоторых приложений и обычно следуют за сверткой и слоями нормализации. Другие нелинейные слои активации выполняют различные операции. Для списка слоев активации смотрите Слои Активации.