predictorImportance

Оценки важности предиктора для ансамбля классификации деревьев решений

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens путем подведения итогов этих оценок по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить этот ансамбль. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P- P матрица с прогнозирующими мерами ассоциации для P предикторы, когда ученики в ens содержите суррогатные разделения. Смотрите Больше О.

Входные параметры

ens

Ансамбль классификации деревьев решений, созданных fitcensemble, или compact метод.

Выходные аргументы

imp

Вектор-строка с тем же числом элементов как количество предикторов (столбцы) в ens.X. Записи являются оценками важности предиктора с 0 представление наименьшей важности.

ma

P- P матрица прогнозирующих мер ассоциации для P предикторы. Элемент ma(I,J) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе J для которого предиктора I оптимальный предиктор разделения. predictorImportance составляет в среднем эту прогнозирующую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оцените важность предиктора

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в ирисовых данных Фишера.

Загрузите ирисовый набор данных Фишера.

load fisheriris

Обучите ансамбль классификации, использующий AdaBoostM2. Задайте пни как слабых учеников.

t = templateTree('MaxNumSplits',1);
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора для всех переменных предикторов.

imp = predictorImportance(ens)

imp = 1×4

    0.0004    0.0016    0.1266    0.0324

Первые два предиктора не очень важны в ансамбле.

Важность предиктора и суррогатные разделения

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в ирисовых данных Фишера для ансамбля, где деревья содержат суррогатные разделения.

Загрузите ирисовый набор данных Фишера.

load fisheriris

Вырастите ансамбль 100 деревьев классификации с помощью AdaBoostM2. Задайте пни как слабых учеников, и также идентифицируйте суррогатные разделения.

t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных предикторов.

[imp,ma] = predictorImportance(ens)

imp = 1×4

    0.0672    0.0417    0.1582    0.1540

ma = 4×4

    1.0000         0         0         0
    0.0115    1.0000    0.0022    0.0054
    0.3186    0.2137    1.0000    0.6391
    0.0392    0.0073    0.1137    1.0000

Первые два предиктора показывают намного больше важности, чем анализ в Оценочной Важности Предиктора.

Больше о

развернуть все

Важность предиктора

predictorImportance вычисляет оценки важности предиктора для ens путем подведения итогов изменений в risk из-за разделений на каждом предикторе и деления суммы на количество узлов ветви. Если ens выращен без суррогатных разделений, эта сумма взята по лучшим разделениям, найденным в каждом узле ветви. Если ens выращен с суррогатными разделениями, эта сумма взята по всем разделениям в каждом узле ветви включая суррогатные разделения. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить ens. Важность предиктора, сопоставленная с этим разделением, вычисляется как различие между риском для родительского узла и общим риском для двух дочерних элементов.

Примесь и ошибка узла

ClassificationTree узлы разделений или на основе impurity или на основе node error.

Примесь означает одну из нескольких вещей, в зависимости от вашего выбора SplitCriterion аргумент пары "имя-значение":

Индекс разнообразия Джини (gdi) — Индекс Gini узла
$1 - \sum_{i} p^{2} (i),$
где суммой является по классам i в узле, и p (i) является наблюдаемой частью классов с классом i, которые достигают узла. Узел со всего одним классом (узел pure) сделал, чтобы Gini индексировал 0; в противном случае индекс Gini положителен. Таким образом, индекс Gini является мерой примеси узла.
Отклонение ('deviance') — С p (i) задал то же самое что касается индекса Gini, отклонение узла
$- \sum_{i} p (i) \log_{2} p (i) .$
Чистый узел имеет отклонение 0; в противном случае отклонение положительно.
Правило Twoing ('twoing') — Twoing не является мерой по чистоте узла, но является различной мерой для решения, как разделить узел. Позволенный L (i) обозначает часть членов класса i в левом дочернем узле после разделения, и R (i) обозначает часть членов класса i в правильном дочернем узле после разделения. Выберите критерий разделения, чтобы максимизировать
$P (L) P (R) {(\sum_{i} | L (i) - R (i) |)}^{2},$
где P (L) и P (R) является частями наблюдений, которые разделяют налево и право соответственно. Если выражение является большим, разделение сделало каждый дочерний узел более чистым. Точно так же, если выражение мало, разделение сделало каждый дочерний узел похожим друг на друга, и поэтому похожим на родительский узел. Разделение не увеличило чистоту узла.
Ошибка узла — ошибка узла является частью неправильно классифицированных классов в узле. Если j является классом с наибольшим числом обучающих выборок в узле, ошибка узла
1 – p (j).

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает, что подобие между решением управляет что наблюдения разделения. Среди всех возможных разделений решения, которые сравниваются с оптимальным разделением (найденный путем роста дерева), лучшее суррогатное разделение решения дает к максимальной прогнозирующей мере ассоциации. Второсортное суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим_{, что xj} и _xk являются переменными предикторами j и k, соответственно, и j ≠ k. В узле t прогнозирующая мера ассоциации между оптимальным разделением _xj <u и суррогат разделяют _xk <v

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{min (P_{L}, P_{R})} .$

_PL является пропорцией наблюдений в узле t, такой что _xj <u. Индекс L выдерживает за покинутый дочерний элемент узла t.
_PR является пропорцией наблюдений в узле t, такой что _xj ≥ u. Индекс R выдерживает за правильный дочерний элемент узла t.
$P_{L_{j} L_{k}}$ пропорция наблюдений в узле t, такой что _xj <u и _xk <v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислениям пропорции.

_λjk является значением в (– ∞, 1]. Если _λjk> 0, то _xk <v является стоящим суррогатным разделением для _xj <u.

Алгоритмы

Элемент ma(i,j) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе j для которого предиктора i оптимальный предиктор разделения. Это среднее значение вычисляется путем подведения итогов положительных значений прогнозирующей меры ассоциации по оптимальным разделениям на предикторе i и суррогат разделяет на предикторе j и деление на общее количество оптимальных разделений на предикторе i, включая разделения, для который прогнозирующая мера ассоциации между предикторами i и j отрицательно.

Документация