Анализ компонентов окрестности (NCA) - непараметрический метод выбора признаков с целью максимизации точности прогнозирования алгоритмов регрессии и классификации. Функции Toolbox™ статистики и машинного обучения fscnca и fsrnca выполнить выбор признаков NCA с регуляризацией, чтобы узнать веса признаков для минимизации целевой функции, которая измеряет среднюю классификацию отпуска или потерю регрессии по учебным данным.
Рассмотрим проблему классификации нескольких классов с обучающим набором, содержащим n наблюдений:
,..., n},
где - векторы признаков, c} - метки классов, а c - число классов. Целью является изучение .., c}, который принимает вектор признаков и делает предсказание f (x) для истинной y из x.
Рассмотрим рандомизированный классификатор, который:
Случайный выбор точки, ), из S в качестве «опорной точки» для x
Метки с использованием метки опорной точки ).
Эта схема аналогична схеме классификатора 1-NN, где опорная точка выбирается в качестве ближайшего соседа новой точки x. В NCA опорная точка выбирается случайным образом, и все точки в имеют некоторую вероятность выбора в качестве опорной точки. Вероятность xj 'S) того, что xj выбирается из S в качестве опорной точки для x, выше, xj ближе к x, что измеряется расстояния dw, где
=∑r=1pwr2|xir−xjr|,
и являются весами признаков. Предположим, что
, xj)),
где - некоторое ядро или функция подобия, которая предполагает большие значения, когда xj) мал. Предположим, что это
zλ),
как предложено в [1]. Опорная точка для выбрана из , поэтому сумма xj 'S) для всех j должна быть равна 1. Поэтому возможна запись
dw (x, xj)).
Теперь рассмотрим безвыходное применение этого рандомизированного классификатора, то есть предсказание метки с использованием данных в i, обучающий S исключая yi). Вероятность того, что xj выбрана в качестве опорной точки xi, равна
∑j=1,j≠ink (dw (xi, xj)).
Средняя вероятность отказа от правильной классификации - это вероятность, что рандомизированный классификатор правильно классифицирует наблюдение i, используя i.
=∑j=1,j≠inpijyij,
где
0 в противном случае.
Средняя вероятность отказа от правильной классификации с использованием рандомизированного классификатора может быть записана как
=1n∑i=1npi.
Правая сторона ) зависит от вектора веса w. Целью анализа компонента окрестности является максимизация w) w.fscnca использует регуляризованную целевую функцию, введенную в [1].
=1n∑i=1nFi (w),
где - параметр регуляризации. Термин регуляризации приводит многие веса в к 0.
После выбора в качестве 1 параметра δ ядра в pij определение вектора веса может быть выражено как следующая задача минимизации для данного .
=argminw1n∑i=1nfi (w),
где f (w) = -F (w) и fi (w) = -Fi (w).
Обратите внимание, что
и аргумент минимума не изменяется, если добавить константу к целевой функции. Поэтому можно переписать целевую функцию, добавив константу 1.
yj) +λ∑r=1pwr2},
где функция потерь определяется как
yi≠yj,0otherwise.
Аргументом минимума является весовой вектор, минимизирующий ошибку классификации. Можно указать пользовательскую функцию потерь с помощью LossFunction аргумент пары имя-значение в вызове fscnca.
fsrnca функция выполняет выбор элемента NCA, измененного для регрессии. Учитывая n наблюдений
,..., n},
единственное отличие от проблемы классификации заключается в том, что значения ответа являются непрерывными. В этом случае цель состоит в том, чтобы предсказать ответ с учетом обучающего набора .
Рассмотрим рандомизированную регрессионную модель, которая:
Случайным образом выбирает точку ()) из Sas «контрольная точка» для x
Устанавливает значение ответа x равным значению ответа опорной точки ).
Опять же, вероятность xj 'S), что xj выбирается из S в качестве опорной точки для x, равна
dw (x, xj)).
Теперь рассмотрим применение отказа от этой рандомизированной регрессионной модели, то есть предсказание ответа для с использованием данных в i, обучающий S, исключая yi). Вероятность того, что xj выбрана в качестве опорной точки xi, равна
∑j=1,j≠ink (dw (xi, xj)).
Пусть i является значением ответа, которое предсказывает модель рандомизированной регрессии, yi является фактическим ответом xi. и l:ℝ2→ℝ быть функцией потерь, которая измеряет разногласия ^ i и yi. Затем среднее значение , y ^ i) равно
=∑j=1,j≠inpijl (yi, yj).
После добавления термина регуляризации целевой функцией минимизации является:
=1n∑i=1nli+λ∑r=1pwr2.
Функция потерь по умолчанию yj) для NCA для регрессии является средним абсолютным отклонением, но можно указать другие функции потерь, включая пользовательские, используя LossFunction аргумент пары имя-значение в вызове fsrnca.
Термин регуляризации выводит веса неактуальных предикторов до нуля. В целевых функциях для NCA для классификации или регрессии имеется только один параметр регуляризации для всех весов. Этот факт требует, чтобы величины весов были сравнимы друг с другом. Когда векторы xi признаков в находятся в разных масштабах, это может привести к весам, которые находятся в разных масштабах и не имеют значения. Чтобы избежать этой ситуации, стандартизируйте предикторы, чтобы иметь нулевое среднее и единичное стандартное отклонение перед применением NCA. Можно стандартизировать предикторы с помощью 'Standardize',true аргумент пары имя-значение в вызове fscnca или fsrnca.
Обычно необходимо выбрать значение параметра регуляризации, рассчитав точность рандомизированного классификатора NCA или регрессионной модели на независимом тестовом наборе. Если вместо одного тестового набора используется перекрестная проверка, выберите значение λ, которое минимизирует средние потери по складкам перекрестной проверки. Примеры см. в разделе Настройка параметра регуляризации для обнаружения элементов с использованием NCA для классификации и настройка параметра регуляризации в NCA для регрессии.
[1] Ян, У., К. Ван, У. Цзо. «Выбор компонентов соседства для высокоразмерных данных». Журнал компьютеров. Том 7, номер 1, январь 2012 года.
FeatureSelectionNCAClassification | FeatureSelectionNCARegression | fscnca | fsrnca