softmax слой применяет функцию softmax к входу.
Для проблем классификации, softmax слоя и затем слоя классификации обычно следуют за итоговым полносвязным слоем.
Функция активации устройства вывода является функцией softmax:
где и .
Функция softmax является функцией активации устройства вывода после последнего полносвязного слоя для многоклассовых задач классификации:
где и . Кроме того, , условная вероятность выборки, данной класс r, и априорная вероятность класса.
Функция softmax также известна как нормированный экспоненциал и может быть рассмотрена обобщением мультикласса логистической сигмоидальной функции [1].