predictorImportance

Оценки предикторной важности для классификационного ансамбля деревьев решений

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки предикторной важности для ens путем суммирования этих оценок по всем слабым ученикам ансамбля. imp имеет один элемент для каждого входного предиктора в данных, используемых для обучения этого ансамбля. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P-by- P матрица с прогнозирующими показателями ассоциации для P предикторы, когда ученики в ens содержат суррогатные расщепления. Подробнее о программе.

Входные параметры

ens

Классификационный ансамбль деревьев решений, созданный fitcensemble, или по compact способ.

Выходные аргументы

imp

A вектора-строки с таким же количеством элементов, как и количество предикторов (столбцов) в ens.X. Записи являются оценками предикторной важности с 0 представляющих наименьшую возможную важность.

ma

A P-by- P матрица прогнозирующих мер ассоциации для P предикторы. Элементный ma(I,J) - прогнозирующая мера ассоциации, усредненная по суррогатным расщеплениям на предикторе J для какого предиктора I является оптимальным предиктором разделения. predictorImportance усредняет эту прогнозирующую меру ассоциации по всем деревьям ансамбля.

Примеры

расширить все

Оценка важности предиктора

Открыть Live Script

Оцените важность предиктора для всех переменных в данных радужной оболочки глаза Фишера.

Загрузите набор данных радужки Фишера.

load fisheriris

Обучите классификационный ансамбль с помощью AdaBoostM2. Задайте древовидные пни как слабые ученики.

t = templateTree('MaxNumSplits',1);
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора для всех переменных предиктора.

imp = predictorImportance(ens)

imp = 1×4

    0.0004    0.0016    0.1266    0.0324

Первые два предиктора не очень важны в ансамбле.

Важность предиктора и суррогатные расщепления

Открыть Live Script

Оцените предикторную важность для всех переменных в данных ириса Фишера для ансамбля, где деревья содержат суррогатные расщепления.

Загрузите набор данных радужки Фишера.

load fisheriris

Вырастить ансамбль из 100 классификационных деревьев можно используя AdaBoostM2. Задайте древовидные пни как слабые ученики, а также идентифицируйте суррогатные расщепления.

t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных предиктора.

[imp,ma] = predictorImportance(ens)

imp = 1×4

    0.0674    0.0417    0.1582    0.1537

ma = 4×4

    1.0000         0         0         0
    0.0115    1.0000    0.0022    0.0054
    0.3186    0.2137    1.0000    0.6391
    0.0392    0.0073    0.1137    1.0000

Первые два предиктора показывают гораздо больше важности, чем анализ в Оценке Важности Предиктора.

Подробнее о

расширить все

Важность предиктора

predictorImportance оценивает предикторную важность для каждого ученика дерева в ансамбле ens и возвращает взвешенные средние значения imp вычисляется с использованием ens.TrainedWeight. Область выхода imp имеет по одному элементу для каждого предиктора.

predictorImportance вычисляет значения предикторов в дереве путем суммирования изменений в риске узла из-за разбиения на каждый предиктор, а затем деления суммы на общее количество узлов ветви. Изменение риска узла является различием между риском для родительского узла и общим риском для двух дочерних элементов. Для примера, если дерево разделяет родительский узел (для примера, узел 1) на два дочерних узла (для примера, узлов 2 и 3), то predictorImportance увеличивает важность разделения предиктора на

(_R1 - _R2 - _R3 )/ _{N ветвь},

где _Ri - риск узла для i, а N _ветвь - общее количество узлов филиала. node risk определяется как ошибка узла или примесь узла, взвешенная вероятностью узла:

_Ri = _{<reservedrangesplaceholder1> <reservedrangesplaceholder0>},

где _Pi - вероятность узла i, и _Ei - это ошибка узла (для дерева, выращенного путем минимизации критерия двойки) или примесь узла (для дерева, выращенного путем минимизации критерия примеси, такого как индекс Джини или отклонение) узла i.

Оценки предикторной важности зависят от того, используете ли вы суррогатные расщепления для обучения.

Если вы используете суррогатные расщепления, predictorImportance суммирует изменения риска узла по всем разделениям в каждом узле ветви, включая суррогатные разделения. Если вы не используете суррогатные разделения, то функция принимает сумму над лучшими разделениями, найденными в каждом узле ветви.
Оценки предикторной важности не зависят от порядка предикторов, если вы используете суррогатные расщепления, но зависят от порядка, если вы не используете суррогатные расщепления.

Примеси и ошибка узла

Дерево решений разделяет узлы на основе impurity или node error.

Примесь означает одну из нескольких вещей, в зависимости от вашего выбора SplitCriterion аргумент пары "имя-значение":

Индекс разнообразия Джини (gdi) - Индекс Джини узла:
$1 - \sum_{i} p^{2} (i),$
где сумма по классам, i в узле, и p (i) является наблюдаемой долей классов с i классов, которые достигают узла. Узел только с одним классом (узел pure) имеет индекс Джини 0; в противном случае индекс Джини положителен. Так что индекс Джини является мерой узла примеси.
Отклонение ('deviance') - С p (i), заданными так же, как для индекса Джини, отклонение узла является
$- \sum_{i} p (i) \log_{2} p (i) .$
Чистый узел имеет отклонение 0; в противном случае отклонение положительное.
Правило Twoing ('twoing') - Twoing не является мерой чистоты узла, но является другой мерой для принятия решения о том, как разделить узел. Пусть L (i) обозначает долю представителей класса, i в левом дочернем узле после разделения, а R (i) обозначает долю представителей класса, i в правом дочернем узле после разделения. Выберите критерий разделения для максимизации
$P (L) P (R) {(\sum_{i} | L (i) - R (i) |)}^{2},$
где P (L) и P (R) являются частями наблюдений, которые разделяются налево и вправо соответственно. Если выражение большое, разделение сделало каждый дочерний узел более чистым. Точно так же, если выражение маленькое, разделение сделало каждый дочерний узел похожим друг на друга, и, следовательно, подобным родительскому узлу. Разделение не увеличило чистоту узла.
Ошибка узла - ошибка узла - это часть неправильно классифицированных классов в узле. Если j является классом с наибольшим количеством обучающих выборок в узле, ошибка узла
1 – p (<reservedrangesplaceholder0>).

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает на сходство между правилами принятия решений, которые разделяют наблюдения. Среди всех возможных разделений решений, которые сравниваются с оптимальным разделением (найденным путем роста дерева), лучшее разделение суррогатных решений приводит к максимальной прогнозирующей мере ассоциации. Второе лучшее суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим _xj, и _xk переменные предсказателя j и k, соответственно, и <reservedrangesplaceholder6> ≠ <reservedrangesplaceholder5>. В узле t _{прогнозирующая} мера ассоциации _между оптимальным разделением xj < u и суррогатным разделением xk < v,

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{минута (P_{L}, P_{R})} .$

_PL - это доля наблюдений в узле t, такая что _xj < u. L индекса обозначает левый дочерний элемент узла t.
_PR - пропорция наблюдений в узле t, такой что _{<reservedrangesplaceholder3> ≥ <reservedrangesplaceholder2>}. R индекса обозначает правый дочерний элемент узла t.
$P_{L_{j} L_{k}}$ - доля наблюдений в узле t, такая что _xj < u и _xk < v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _{<reservedrangesplaceholder3> ≥ <reservedrangesplaceholder2>} и <reservedrangesplaceholder1> ≥ <reservedrangesplaceholder0>.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислению пропорции.

_λjk является значением в (- ∞, 1]. Если _λjk > 0, то xk < v является стоящим суррогатным разделением для xj < u.

Алгоритмы

Элементный ma(i,j) - прогнозирующая мера ассоциации, усредненная по суррогатным расщеплениям на предикторе j для какого предиктора i является оптимальным предиктором разделения. Это среднее значение вычисляется путем суммирования положительных значений прогнозирующей меры ассоциации над оптимальными делениями на предикторе i и суррогатные разделения на предикторы j и деление на общее количество оптимальных разбиений на предикторы i, включая разделения, для которых прогнозирующая мера ассоциации между предикторами i и j отрицательно.

См. также

predictorImportance (ClassificationTree) | templateTree

Документация