Слой регрессии вычисляет половину потери среднеквадратической ошибки для проблем регрессии. Для типичных проблем регрессии слой регрессии должен следовать за итоговым полносвязным слоем.
Для одного наблюдения среднеквадратической ошибкой дают:
где R является количеством ответов, ti является целевой выход, и yi является предсказанием сети для ответа i.
Для изображения и sequence-one сетей регрессии, функция потерь слоя регрессии является половиной среднеквадратической ошибки предсказанных ответов, не нормированных на R:
Для сетей регрессии от изображения к изображению функция потерь слоя регрессии является половиной среднеквадратической ошибки предсказанных ответов для каждого пикселя, не нормированного на R:
где H, W и C обозначают высоту, ширину, и количество каналов выхода соответственно и индексы p в каждый элемент (пиксель) t и y линейно.
Для сетей регрессии от последовательности к последовательности функция потерь слоя регрессии является половиной среднеквадратической ошибки предсказанных ответов для каждого временного шага, не нормированного на R:
где S является длиной последовательности.
Когда обучение, программное обеспечение вычисляет среднюю потерю по наблюдениям в мини-пакете.