Автоэнкодер является нейронной сетью, которая обучена, чтобы реплицировать ее вход при ее выводе. Автоэнкодеры могут использоваться в качестве инструментов, чтобы изучить глубокие нейронные сети. Обучение автоэнкодер является безнадзорным в том смысле, что никакие маркированные данные не необходимы. Учебный процесс все еще основан на оптимизации функции стоимости. Функция стоимости измеряет ошибку между входом x и его реконструкцией при выводе $$\widehat{x}$$.

Автоэнкодер состоит из энкодера и декодера. Энкодер и декодер могут иметь несколько слоев, но для простоты полагают, что у каждого из них есть только один слой.

Если вход к автоэнкодеру является вектором $$x\in {ℝ}^{D_x}$$, затем энкодер сопоставляет векторный x с другим вектором $$z\in {ℝ}^{D^{\left(1\right)}}$$ можно следующим образом:

где верхний индекс (1) указывает на первый слой. $$h^{\left(1\right)}:{ℝ}^{D^{\left(1\right)}}\to {ℝ}^{D^{\left(1\right)}}$$ передаточная функция для энкодера, $$W^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}\times D_{{}^x}}$$ матрица веса, и $$b^{\left(1\right)}\in {ℝ}^{D^{\left(1\right)}}$$ вектор смещения. Затем декодер сопоставляет закодированное представление z назад в оценку исходного входного вектора, x, можно следующим образом:

где верхний индекс (2) представляет второй слой. $$h^{\left(2\right)}:{ℝ}^{D_x}\to {ℝ}^{D_x}$$ передаточная функция для декодера,$$W^{\left(1\right)}\in {ℝ}^{D_{{}^x}\times D^{\left(1\right)}}$$ матрица веса, и $$b^{\left(2\right)}\in {ℝ}^{D_x}$$ вектор смещения.

Ободрительная разреженность автоэнкодера возможна путем добавления regularizer в функцию стоимости [2]. Этот regularizer является функцией среднего выходного значения активации нейрона. Средняя выходная мера по активации нейрона i задана как:

где n является общим количеством учебных примеров. _xj является the jth учебным примером, $$w_i^{\left(1\right)T}$$ i th строка матрицы веса $$W^{\left(1\right)}$$, и $$b_i^{\left(1\right)}$$ i th запись вектора смещения, $$b^{\left(1\right)}$$. Нейрон считается, 'стреляя', если его выходное значение активации высоко. Значение активации низкого выпуска продукции означает, что нейрон в скрытом слое стреляет в ответ на небольшое количество учебных примеров. Добавление термина к функции стоимости, которая ограничивает значения $${\widehat{\rho }}_i$$ быть низким поощряет автоэнкодер изучать представление, где каждый нейрон в скрытом слое стреляет в небольшое количество учебных примеров. Таким образом, каждый нейрон специализируется путем ответа на некоторую функцию, которая только присутствует в небольшом подмножестве учебных примеров.

Разреженность regularizer пытается осуществить ограничение на разреженность вывода от скрытого слоя. Разреженность может быть поощрена путем добавления срока регуляризации, который принимает большое значение когда среднее значение активации, $${\widehat{\rho }}_i$$, из нейрона i и его требуемое значение, $$\rho$$, не близки в значении [2]. Один такой срок регуляризации разреженности может быть расхождением Kullback-Leibler.

Расхождение Kullback-Leibler является функцией для измерения, как различные два дистрибутива. В этом случае это берет нуль значения когда $$\rho$$ и $${\widehat{\rho }}_i$$ равны друг другу, и становится больше, когда они отличаются друг от друга. Минимизация функции стоимости обеспечивает этот термин, чтобы быть маленькой, следовательно $$\rho$$ и $${\widehat{\rho }}_i$$ быть друг близко к другу. Можно задать требуемое значение среднего значения активации с помощью аргумента пары "имя-значение" SparsityProportion в то время как обучение автоэнкодер.

Когда обучение разреженный автоэнкодер, возможно сделать разреженность regulariser маленькой путем увеличения значений весов w ^(l) и уменьшения значений z ⁽¹⁾ [2]. Добавление срока регуляризации на весах к функции стоимости предотвращает его. Этот термин называется сроком регуляризации _L2 и задан:

где L является количеством скрытых слоев, n является количеством наблюдений (примеры), и k является количеством переменных в данных тренировки.

Функция стоимости для обучения разреженный автоэнкодер является настроенной функцией среднеквадратической ошибки можно следующим образом:

где λ является коэффициентом для L_{, 2} срока регуляризации и β являются коэффициентом для срока регуляризации разреженности. Можно задать значения λ и β при помощи аргументов пары "имя-значение" L2WeightRegularization и SparsityRegularization, соответственно, в то время как обучение автоэнкодер.