Уровень softmax применяет функцию softmax к входу.
Для проблем классификации уровень softmax и затем уровень классификации должны следовать за окончательным полностью подключенным уровнем.
Функция активации выходного блока представляет собой функцию softmax:
где и .
Функция softmax является функцией активации выходного блока после последнего полностью подключенного уровня для проблем классификации нескольких классов:
где ≤1 start) = 1. cr)), P (x, start' cr) - условная вероятность выборки класса r, а P (cr) - предшествующая вероятность класса.
Функция softmax также известна как нормированная экспоненциальная и может считаться мультиклассовым обобщением логистической сигмоидной функции [1].