Слой softmax применяет функцию softmax к входу.
Для задач классификации слой softmax и затем слой классификации должны следовать за конечным полносвязным слоем.
Функция активации выходного модуля является функцией softmax:
где и .
Функция softmax является функцией активации выхода модуля после последнего полносвязного слоя для многоклассовых задач классификации:
где и . Более того, , является условной вероятностью выборки, заданной для r класса, и - класс, предшествующий вероятности.
Функция softmax также известна как нормированная экспоненциальная и может рассматриваться как многоклассовое обобщение логистической сигмоидной функции [1].