Автоэнкодер является нейронной сетью, которая обучена тиражировать свой вход на своем выходе. Автоэнкодеры могут использоваться как инструменты для изучения глубоких нейронных сетей. Обучение автоэнкодера не обеспечивается в том смысле, что маркированные данные не требуются. Процесс обучения все еще основан на оптимизации функции затрат. Функция затрат измеряет ошибку между входом x и ее восстановлением на выходе $$\widehat{x}$$.

Автоэнкодер состоит из энкодера и декодера. Энкодер и декодер могут иметь несколько слоев, но для простоты примите к сведению, что каждый из них имеет только один слой.

Если вход автоэнкодера является вектором $$x\in {ℝ}^{D_x}$$, затем энкодер преобразует вектор x в другой вектор $$z\in {ℝ}^{D^{\left(1\right)}}$$ следующим образом:

где верхний индекс (1) указывает на первый слой. $$h^{\left(1\right)}:{ℝ}^{D^{\left(1\right)}}\to {ℝ}^{D^{\left(1\right)}}$$ является передаточной функцией для энкодера, $$W^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}\times D_{{}^x}}$$ является весовой матрицей, и $$b^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}}$$ является вектором смещения. Затем декодер преобразует закодированное представление z назад в оценку исходного входного вектора, x, следующим образом:

где верхний индекс (2) представляет второй слой. $$h^{\left(2\right)}:{ℝ}^{D_x}\to {ℝ}^{D_x}$$ - передаточная функция для декодера,$$W^{\left(1\right)}\in {ℝ}^{D_{{}^x}\times D^{\left(1\right)}}$$ является весовой матрицей, и $$b^{\left(2\right)}\in {ℝ}^{D_x}$$ является вектором смещения.

Поощрение разреженности автоэнкодера возможно путем добавления регуляризатора к функции затрат [2]. Этот регуляризатор является функцией от среднего выходного значения активации нейрона. Средняя мера активации выхода нейрона i определяется как:

где n - общее количество примеров обучения. _xj является j -м примером обучения,$$w_i^{\left(1\right)T}$$ - i строка весовой матрицы$$W^{\left(1\right)}$$, и $$b_i^{\left(1\right)}$$ - i запись вектора смещения ,$$b^{\left(1\right)}$$. Нейрон рассматривается как «зажигание», если его выходное значение активации высокое. Низкое значение активации выхода означает, что нейрон в скрытом слое запускается в ответ на небольшое количество обучающих примеров. Добавление термина к функции затрат, которое ограничивает значения $${\widehat{\rho }}_i$$ быть низким, побуждает автоэнкодер изучать представление, где каждый нейрон в скрытом слое запускается в небольшое количество обучающих примеров. То есть каждый нейрон специализируется, отвечая на некоторую функцию, которая присутствует только в небольшом подмножестве обучающих примеров.

Регуляризатор разреженности пытается применить ограничение на разреженность выхода из скрытого слоя. Разреженность может быть поощрена путем добавления термина регуляризации, который принимает большое значение, когда среднее значение активации, $${\widehat{\rho }}_i$$, нейрона i и ее желаемого значения, $$\rho$$, не близки по значению [2]. Одним из таких членов регуляции разреженности может быть расхождение Кулбэка-Лейблера.

Расхождение Куллбэка-Лейблера является функцией для измерения того, как разные два распределения являются. В этом случае это принимает нулевое значение, когда $$\rho$$ и $${\widehat{\rho }}_i$$ равны друг другу и становятся больше, когда они расходятся друг с другом. Минимизация функции затрат заставляет этот термин быть маленьким, следовательно, $$\rho$$ и $${\widehat{\rho }}_i$$ быть рядом друг с другом. Вы можете задать желаемое значение среднего значения активации с помощью SparsityProportion аргумент пары "имя-значение" во время настройки автоэнкодера.

При обучении разреженного автоэнкодера можно сделать регулятор разреженности маленьким, увеличив значения весов w^(l) и уменьшение значений z⁽¹⁾ [2]. Добавление термина регуляризации для весов к функции затрат препятствует этому. Этот термин называется _L2 термином регуляризации и определяется:

где L - количество скрытых слоев, n - количество наблюдений (примеров), а k - количество переменных в обучающих данных.

Функция стоимости для настройки разреженного автоэнкодера является скорректированной функцией средней квадратичной невязки следующим образом:

где λ - коэффициент для L 2 члена регуляризации, а β - коэффициент для члена регуляризации разреженности. Можно задать значения λ и β при помощи L2WeightRegularization и SparsityRegularization аргументы пары "имя-значение", соответственно, при обучении автоэнкодера.