Автоэнкодер является нейронной сетью, которая обучена, чтобы реплицировать ее вход при ее выходе. Автоэнкодеры могут использоваться в качестве инструментов, чтобы изучить глубокие нейронные сети. Обучение автоэнкодер является безнадзорным в том смысле, что никакие маркированные данные не необходимы. Учебный процесс все еще основан на оптимизации функции стоимости. Функция стоимости измеряет ошибку между входом x и его реконструкцией при выходе $$\widehat{x}$$.

Автоэнкодер состоит из энкодера и декодера. Энкодер и декодер могут иметь несколько слоев, но для простоты полагают, что у каждого из них есть только один слой.

Если вход к автоэнкодеру является вектором $$x\in {ℝ}^{D_x}$$, затем энкодер сопоставляет векторный x с другим вектором $$z\in {ℝ}^{D^{\left(1\right)}}$$ можно следующим образом:

где верхний индекс (1) указывает на первый слой. $$h^{\left(1\right)}:{ℝ}^{D^{\left(1\right)}}\to {ℝ}^{D^{\left(1\right)}}$$ передаточная функция для энкодера, $$W^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}\times D_{{}^x}}$$ матрица веса, и $$b^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}}$$ вектор смещения. Затем декодер сопоставляет закодированное представление z назад в оценку исходного входного вектора, x, можно следующим образом:

где верхний индекс (2) представляет второй слой. $$h^{\left(2\right)}:{ℝ}^{D_x}\to {ℝ}^{D_x}$$ передаточная функция для декодера,$$W^{\left(1\right)}\in {ℝ}^{D_{{}^x}\times D^{\left(1\right)}}$$ матрица веса, и $$b^{\left(2\right)}\in {ℝ}^{D_x}$$ вектор смещения.

Ободрительная разреженность автоэнкодера возможна путем добавления regularizer в функцию стоимости [2]. Этот regularizer является функцией среднего выходного значения активации нейрона. Средняя выходная мера по активации нейрона i задана как:

где n является общим количеством учебных примеров. _xj является the jth учебным примером, $$w_i^{\left(1\right)T}$$ i th строка матрицы веса $$W^{\left(1\right)}$$, и $$b_i^{\left(1\right)}$$ i th запись вектора смещения, $$b^{\left(1\right)}$$. Нейрон считается, 'стреляя', если его выходное значение активации высоко. Значение активации низкого выпуска продукции означает, что нейрон в скрытом слое стреляет в ответ на небольшое количество учебных примеров. Добавление термина к функции стоимости, которая ограничивает значения $${\widehat{\rho }}_i$$ быть низким поощряет автоэнкодер изучать представление, где каждый нейрон в скрытом слое стреляет в небольшое количество учебных примеров. Таким образом, каждый нейрон специализируется путем ответа на некоторую функцию, которая только присутствует в небольшом подмножестве учебных примеров.

Разреженность regularizer пытается осуществить ограничение на разреженность выхода от скрытого слоя. Разреженность может быть поощрена путем добавления термина регуляризации, который принимает большое значение когда среднее значение активации, $${\widehat{\rho }}_i$$, из нейрона i и его требуемое значение, $$\rho$$, не близки в значении [2]. Один такой термин регуляризации разреженности может быть расхождением Kullback-Leibler.

Расхождение Kullback-Leibler является функцией для измерения, как различные два распределения. В этом случае это берет нуль значения когда $$\rho$$ и $${\widehat{\rho }}_i$$ равны друг другу, и становится больше, когда они отличаются друг от друга. Минимизация функции стоимости обеспечивает этот термин, чтобы быть малой, следовательно $$\rho$$ и $${\widehat{\rho }}_i$$ быть друг близко к другу. Можно задать требуемое значение среднего значения активации с помощью SparsityProportion аргумент пары "имя-значение", в то время как обучение автоэнкодер.

Когда обучение разреженный автоэнкодер, возможно сделать разреженность regulariser маленькой путем увеличения значений весов w^(l) и уменьшение значений z⁽¹⁾ [2]. Добавление термина регуляризации на весах к функции стоимости предотвращает его. Этот термин называется термином регуляризации _L2 и задан:

где L является количеством скрытых слоев, n является количеством наблюдений (примеры), и k является количеством переменных в обучающих данных.

Функция стоимости для обучения разреженный автоэнкодер является настроенной функцией среднеквадратической ошибки можно следующим образом:

где λ является коэффициентом для L_{, 2} термина регуляризации и β являются коэффициентом для термина регуляризации разреженности. Можно задать значения λ и β при помощи L2WeightRegularization и SparsityRegularization аргументы пары "имя-значение", соответственно, в то время как обучение автоэнкодер.