Регуляризация является процессом нахождения маленького набора предикторов, которые дают к эффективной прогнозной модели. Для линейного дискриминантного анализа существует два параметра, γ и δ, та регуляризация управления можно следующим образом. cvshrink
помогает вам выбрать соответствующие значения параметров.
Позвольте Σ представлять ковариационную матрицу данных X и позволить будьте данными в центре (данные X минус среднее значение классом). Define
Упорядоченная ковариационная матрица
Каждый раз, когда γ ≥ MinGamma
, несингулярно.
Позвольте μk быть средним вектором для тех элементов X в классе k и позволить μ 0 быть глобальным средним вектором (среднее значение строк X). Позвольте C быть корреляционной матрицей данных X и позволить будьте упорядоченной корреляционной матрицей:
где I является единичной матрицей.
Линейный член в упорядоченном классификаторе дискриминантного анализа для точки данных x
Параметр δ вводит в это уравнение как в порог на итоговом термине в квадратных скобках. Каждый компонент вектора обнуляется, если это меньше в величине, чем порог δ. Поэтому для класса k, если j компонента является порогом, чтобы обнулить, j компонента x, не вводит в оценку апостериорной вероятности.
DeltaPredictor
свойство является вектором, связанным с этим порогом. Когда δ ≥ DeltaPredictor(i)
, все классы k имеют
Поэтому, когда δ ≥ DeltaPredictor(i)
, упорядоченный классификатор не использует предиктор i
.