Анализ компонентов по соседству (NCA) Выбора признаков

Анализ компонента окрестности (NCA) является непараметрическим методом для выбора функций с целью максимизации точности предсказания алгоритмов регрессии и классификации. Функции Statistics and Machine Learning Toolbox™ fscnca и fsrnca выполните выбор признаков NCA с регуляризацией, чтобы узнать веса признаков для минимизации целевой функции, которая измеряет среднюю классификацию «один на один» или регрессионные потери по сравнению с обучающими данными.

Выбор признаков NCA для классификации

Рассмотрим многоклассовую задачу классификации с набора обучающих данных, содержащей n наблюдения:

$\begin{array}{l} S = {(x_{i}, y_{i}), i = 1, 2, \dots, n} \end{array},$

где $x_{i} \in ℝ^{p}$ являются векторами функций, $y_{i} \in {1, 2, \dots, c}$ являются метками классов, и c количество классов. Цель состоит в том, чтобы узнать классификатор $f : ℝ^{p} \to {1, 2, \dots, c}$ который принимает вектор функции и делает предсказание $f (x)$ для истинной метки $y$ из $x$ .

Рассмотрим рандомизированный классификатор, который:

Случайным образом выбирает точку, $Ref (x)$ , от $S$ в качестве «контрольной точки» для $x$
Метки $x$ использование метки точки ссылки $Ref (x)$ .

Эта схема аналогична схеме классификатора 1-NN, где контрольная точка выбрана ближайшим соседом новой точки $x$ . В NCA точка ссылки выбирается случайным образом и все точки в $S$ иметь некоторую вероятность выбора в качестве опорной точки. Вероятность $P (Ref (x) = x_{j} | S)$ что точка $x_{j}$ выбран из $S$ как ссылка точка для $x$ выше, если $x_{j}$ ближе к $x$ как измерено функцией расстояния $d_{w}$ , где

$d_{w} (x_{i}, x_{j}) = \sum_{r = 1}^{p} w_{r}^{2} | x_{i r} - x_{j r} |,$

и $w_{r}$ являются весами функций. Предположим, что

$\begin{array}{l} P (Ref (x) = x_{j} | S) \propto k (d_{w} (x, x_{j})) \end{array},$

где $k$ является некоторым ядром или функцией подобия, которая принимает большие значения, когда $d_{w} (x, x_{j})$ маленькая. Предположим, что это так

$k (z) = \exp (- \frac{z}{σ}),$

как предложено в [1]. Точка ссылки для $x$ выбирается из $S$ , так сумма $P (Ref (x) = x_{j} | S)$ для всех j должно быть равно 1. Поэтому писать можно

$\begin{array}{l} P (Ref (x) = x_{j} | S) = \frac{k (d_{w} (x, x_{j}))}{\sum_{j = 1}^{n} k (d_{w} (x, x_{j}))} \end{array} .$

Теперь рассмотрим разовое применение этого рандомизированного классификатора, то есть предсказание метки $x_{i}$ используя данные в $S^{- i}$ , а набор обучающих данных $S$ исключая точку $(x_{i}, y_{i})$ . Вероятность того, что точка $x_{j}$ выбран как ссылка точка для $x_{i}$ является

$p_{i j} = P (Ref (x_{i}) = x_{j} | S^{- i}) = \frac{k (d_{w} (x_{i}, x_{j}))}{\sum_{j = 1, j \neq i}^{n} k (d_{w} (x_{i}, x_{j}))} .$

Средняя вероятность выхода из правильной классификации является вероятностью $p_{i}$ что рандомизированный классификатор правильно классифицирует i наблюдений с помощью $S^{- i}$ .

$\begin{array}{l} p_{i} = \sum_{j = 1, j \neq i}^{n} P (Ref (x_{i}) = x_{j} | S^{- i}) I (y_{i} = y_{j}) \end{array} = \sum_{j = 1, j \neq i}^{n} p_{i j} y_{i j},$

где

$y_{i j} = I (y_{i} = y_{j}) = {\begin{matrix} 1 & если y_{i} = y_{j,} \\ 0 & иначе . \end{matrix}$

Средняя вероятность выхода из правильной классификации с использованием рандомизированного классификатора может быть записана как

$F (w) = \frac{1}{n} \sum_{i = 1}^{n} p_{i} .$

Правая сторона графика $F (w)$ зависит от вектора веса $w$ . Цель анализа компонентов окрестностей состоит в том, чтобы максимизировать $F (w)$ по отношению к $w$ . fscnca использует регуляризованную целевую функцию, введенную в [1].

$\begin{array}{l} F (w) & = \frac{1}{n} \sum_{i = 1}^{n} p_{i} - λ \sum_{r = 1}^{p} w_{r}^{2} \\ = \frac{1}{n} \sum_{i = 1}^{n} \underset{F_{i} (w)}{\underset{︸}{[\sum_{j = 1, j \neq i}^{n} p_{i j} y_{i j} - λ \sum_{r = 1}^{p} w_{r}^{2}]}} \\ = \frac{1}{n} \sum_{i = 1}^{n} F_{i} (w) \end{array},$

где $λ$ является параметром регуляризации. Термин регуляризации управляет многими весами в $w$ в 0.

После выбора параметра ядра $σ$ в $p_{i j}$ как 1, нахождение вектора веса $w$ может быть выражена как следующая задача минимизации для данного $λ$ .

$\hat{w} = \underset{w}{argmin} f (w) = \underset{w}{argmin} \frac{1}{n} \sum_{i = 1}^{n} f_{i} (w),$

где f (<reservedrangesplaceholder8>) = - F (<reservedrangesplaceholder6>) и <reservedrangesplaceholder5> <reservedrangesplaceholder4> (<reservedrangesplaceholder3>) = - <reservedrangesplaceholder2> <reservedrangesplaceholder1> (<reservedrangesplaceholder0>).

Обратите внимание, что

$\frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1, j \neq i}^{n} p_{i j} = 1,$

и аргумент минимума не меняется, если вы добавляете константу к целевой функции. Поэтому можно переписать целевую функцию, добавив константу 1.

$\begin{matrix} \hat{w} = \underset{w}{argmin} {1 + f (w)} \\ = \underset{w}{argmin} {\frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1, j \neq i}^{n} p_{i j} - \frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1, j \neq i}^{n} p_{i j} y_{i j} + λ \sum_{r = 1}^{p} w_{r}^{2}} \\ = \underset{w}{argmin} {\frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1, j \neq i}^{n} p_{i j} (1 - y_{i j}) + λ \sum_{r = 1}^{p} w_{r}^{2}} \\ = \underset{w}{argmin} {\frac{1}{n} \sum_{i = 1}^{n} \sum_{j = 1, j \neq i}^{n} p_{i j} l (y_{i}, y_{j}) + λ \sum_{r = 1}^{p} w_{r}^{2}}, \end{matrix}$

где функция потерь определяется как

$l (y_{i}, y_{j}) = {\begin{matrix} 1 & если y_{i} \neq y_{j,} \\ 0 & иначе . \end{matrix}$

Аргументом минимума является вектор веса, который минимизирует ошибку классификации. Вы можете задать пользовательскую функцию потерь, используя LossFunction аргумент пары "имя-значение" в вызове fscnca.

Выбор признаков NCA для регрессии

fsrnca функция выполняет выбор признаков NCA, измененный для регрессии. Учитывая n наблюдения

$\begin{array}{l} S = {(x_{i}, y_{i}), i = 1, 2, \dots, n} \end{array},$

единственное различие от задачи классификации заключается в том, что значения отклика $y_{i} \in ℝ$ непрерывны. В этом случае цель состоит в том, чтобы предсказать ответ $y$ учитывая набор обучающих данных $S$ .

Рассмотрим рандомизированную регрессионую модель, которая:

Случайным образом выбирает точку ( $Ref (x)$ ) из $S$ в качестве «контрольной точки» для $x$
Устанавливает значение отклика в $x$ равным значению отклика точки ссылкой $Ref (x)$ .

Снова вероятность $P (Ref (x) = x_{j} | S)$ что точка $x_{j}$ выбран из $S$ как ссылка точка для $x$ является

$\begin{array}{l} P (Ref (x) = x_{j} | S) = \frac{k (d_{w} (x, x_{j}))}{\sum_{j = 1}^{n} k (d_{w} (x, x_{j}))} \end{array} .$

Теперь рассмотрим разовое применение этой рандомизированной регрессионой модели, то есть предсказание отклика для $x_{i}$ используя данные в $S^{- i}$ , а набор обучающих данных $S$ исключая точку $(x_{i}, y_{i})$ . Вероятность того, что точка $x_{j}$ выбран как ссылка точка для $x_{i}$ является

$p_{i j} = P (Ref (x_{i}) = x_{j} | S^{- i}) = \frac{k (d_{w} (x_{i}, x_{j}))}{\sum_{j = 1, j \neq i}^{n} k (d_{w} (x_{i}, x_{j}))} .$

Давайте ${\hat{y}}_{i}$ быть значением отклика, который предсказывает рандомизированная регрессионая модель, и $y_{i}$ быть фактическим ответом для $x_{i}$ . И пусть $l : ℝ^{2} \to ℝ$ быть функцией потерь, которая измеряет разногласия между ${\hat{y}}_{i}$ и $y_{i}$ . Затем среднее значение $l (y_{i}, {\hat{y}}_{i})$ является

$l_{i} = E (l (y_{i}, {\hat{y}}_{i}) | S^{- i}) = \sum_{j = 1, j \neq i}^{n} p_{i j} l (y_{i}, y_{j}) .$

После добавления термина регуляризации, целевая функция минимизации является:

$f (w) = \frac{1}{n} \sum_{i = 1}^{n} l_{i} + λ \sum_{r = 1}^{p} w_{r}^{2} .$

Функция потерь по умолчанию $l (y_{i}, y_{j})$ для NCA для регрессии является средним абсолютным отклонением, но можно задать другие функции потерь, включая пользовательскую, используя LossFunction аргумент пары "имя-значение" в вызове fsrnca.

Влияние стандартизации

Термин регуляризации выводит веса нерелевантных предикторов в нуль. В целевых функциях для NCA для классификации или регрессии существует только один параметр регуляризации $λ$ для всех весов. Этот факт требует, чтобы величины весов были сопоставимы друг с другом. Когда векторы функций $x_{i}$ в $S$ в разных шкалах, это может привести к весам, которые в разных шкалах и не значимы. Чтобы избежать этой ситуации, стандартизируйте предикторы, чтобы иметь нулевое среднее и единичное стандартное отклонение перед применением NCA. Можно стандартизировать предикторы, используя 'Standardize',true аргумент пары "имя-значение" в вызове fscnca или fsrnca.

Выбор значения параметров регуляризации

Обычно необходимо выбрать значение параметра регуляризации путем вычисления точности рандомизированного классификатора NCA или регрессионной модели на независимом тестовом наборе. Если вы используете перекрестную валидацию вместо одного тестового набора, выберите $λ$ значение, которое минимизирует средние потери через сгибы перекрестной валидации. Для примеров смотрите Tune Regularization Parameter, чтобы обнаружить функции, используя NCA для классификации и Tune Regularization Parameter в NCA для регрессии.

Ссылки

[1] Yang, W., K. Wang, W. Zuo. «Компонент соседства Выбора признаков для высоко-размерных Данных». Журнал компьютеров. Том 7, № 1, январь 2012 года.

См. также

FeatureSelectionNCAClassification | FeatureSelectionNCARegression | fscnca | fsrnca

Документация