Слой активации swish применяет функцию swish на входах слоев. Операция swish задаётся + e − x. Свиш-слой не изменяет размер своего входа.
Уровни активации, такие как слои swish, повышают точность обучения для некоторых приложений и обычно следуют за слоями свертки и нормализации. Существуют и другие нелинейные уровни активации, выполняющие различные операции. Список уровней активации см. в разделе Слои активации.