Регуляризация - это процесс поиска небольшого набора предикторов, которые дают эффективную прогностическую модель. Для линейного дискриминантного анализа существует два параметра, γ и δ, которые управляют регуляризацией следующим образом. cvshrink помогает выбрать соответствующие значения параметров.

Пусть Λ представляет ковариационную матрицу данных X, и пусть $$\stackrel{}{X}$$^ - центрированные данные (данные X минус среднее по классу). Определить

Регуляризованная ковариационная матрица $$\stackrel{\Sigma ˜}{}$$

Когда γ  ≥ MinGamma, $$\stackrel{\Sigma ˜}{}$$ негерметична.

Пусть _мкк - средний вектор для этих элементов X в классе k, и пусть мк0 - глобальный средний вектор (среднее из строк X). Пусть C - корреляционная матрица данных X, и пусть $$\stackrel{C˜}{}$$ - регуляризованная корреляционная матрица:

где I - единичная матрица.

Линейный член в классификаторе регуляризованного дискриминантного анализа для точки данных x равен

Параметр δ входит в это уравнение как порог последнего члена в квадратных скобках. Каждая составляющая вектора $$[{\stackrel{}{}}^{\mathrm{}}{}^{\mathrm{}\mathrm{C˜-1D-1/2}}{(}_{}мкк{}_{\mathrm{-}}$$мк0)] устанавливается равной нулю, если она меньше по величине, чем порог δ. Поэтому для класса k, если компонент j установлен в нуль, компонент j x не входит в оценку задней вероятности.

DeltaPredictor свойство является вектором, связанным с этим порогом. Когда δ ≥ DeltaPredictor(i), все классы k имеют

Следовательно, когда δ ≥ DeltaPredictor(i), регуляризованный классификатор не использует предиктор i.