Регуляризация является процессом нахождения маленького набора предикторов, которые приводят к эффективной прогнозирующей модели. Для линейного дискриминантного анализа существует два параметра, γ и δ, та регуляризация управления можно следующим образом. cvshrink помогает вам выбрать соответствующие значения параметров.

Позвольте Σ представлять ковариационную матрицу данных X и позволить $$\widehat{X}$$ будьте данными в центре (данные X минус среднее значение классом). Define

Упорядоченная ковариационная матрица $$\tilde{\Sigma }$$

Каждый раз, когда γ ≥ MinGamma, $$\tilde{\Sigma }$$ несингулярно.

Позвольте _μk быть средним вектором для тех элементов X в классе k и позволить μ ₀ быть глобальным средним вектором (среднее значение строк X). Позвольте C быть корреляционной матрицей данных X и позволить $$\tilde{C}$$ будьте упорядоченной корреляционной матрицей:

где I является единичной матрицей.

Линейный член в упорядоченном классификаторе дискриминантного анализа для точки данных x

Параметр δ вводит в это уравнение как в порог на итоговом термине в квадратных скобках. Каждый компонент вектора $$\left[{\tilde{C}}^{-1}{D}^{-1/2}\left({\mu }_k-{\mu }_0\right)\right]$$ обнуляется, если это меньше в значении, чем порог δ. Поэтому для класса k, если j компонента является порогом, чтобы обнулить, j компонента x, не вводит в оценку апостериорной вероятности.

Свойство DeltaPredictor является вектором, связанным с этим порогом. Когда δ ≥ DeltaPredictor(i), все классы k имеют

Поэтому, когда δ ≥ DeltaPredictor(i), упорядоченный классификатор не использует предиктор i.