predictorImportance

Оценки важности предиктора для классификационного ансамбля деревьев решений

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens суммируя эти оценки по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых для обучения этого ансамбля. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает Pоколо-P матрица с прогностическими показателями ассоциации для P предикторы, когда учащиеся в ens содержат суррогатные разделения. Дополнительные сведения см. в разделе.

Входные аргументы

ens

Классификационный ансамбль деревьев решений, созданный fitcensemble, или compact способ.

Выходные аргументы

imp

Вектор строки с тем же количеством элементов, что и число предикторов (столбцов) в ens.X. Записи являются оценками важности предиктора, с 0 представляет наименьшую возможную важность.

ma

A Pоколо-P матрица прогностических показателей ассоциации для P предикторы. Элемент ma(I,J) является прогностической мерой ассоциации, усредненной по суррогатным разделениям на предикторе J для какого предиктора I является оптимальным расщепленным предиктором. predictorImportance усредняет эту прогностическую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оценить важность предиктора

Открыть сценарий в реальном времени

Оцените важность предиктора для всех переменных в данных радужки Фишера.

Загрузите набор данных радужки Фишера.

load fisheriris

Обучение классификационного ансамбля с помощью AdaBoostM2. Укажите пни дерева в качестве слабых учеников.

t = templateTree('MaxNumSplits',1);
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора для всех переменных предиктора.

imp = predictorImportance(ens)

imp = 1×4

    0.0004    0.0016    0.1266    0.0324

Первые два предиктора не очень важны в ансамбле.

Важность предиктора и суррогатные расщепления

Открыть сценарий в реальном времени

Оцените важность предиктора для всех переменных в данных радужки Фишера для ансамбля, где деревья содержат суррогатные расщепления.

Загрузите набор данных радужки Фишера.

load fisheriris

Выращивать ансамбль из 100 классификационных деревьев с помощью AdaBoostM2. Укажите пни дерева в качестве слабых учеников, а также определите суррогатные разделения.

t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора и прогностические показатели ассоциации для всех переменных предиктора.

[imp,ma] = predictorImportance(ens)

imp = 1×4

    0.0674    0.0417    0.1582    0.1537

ma = 4×4

    1.0000         0         0         0
    0.0115    1.0000    0.0022    0.0054
    0.3186    0.2137    1.0000    0.6391
    0.0392    0.0073    0.1137    1.0000

Первые два предиктора показывают гораздо большую важность, чем анализ в оценке важности предиктора.

Подробнее

развернуть все

Важность предиктора

predictorImportance оценивает важность предиктора для каждого учащегося дерева в ансамбле ens и возвращает средневзвешенное значение imp вычислено с использованием ens.TrainedWeight. Продукция imp имеет один элемент для каждого предиктора.

predictorImportance вычисляет показатели важности предикторов в дереве путем суммирования изменений в узловом риске из-за расщеплений на каждом предикторе, а затем деления суммы на общее количество узлов ветвления. Изменение риска узла представляет собой разницу между риском для родительского узла и общим риском для двух нижестоящих элементов. Например, если дерево разбивает родительский узел (например, узел 1) на два дочерних узла (например, узлы 2 и 3), то predictorImportance повышает важность расщепленного предиктора на

(_R1 - _R2 - _R3 )/_Nбранч,

где _Ri - риск узла i, а Nbranch - общее число узлов ветви. Риск узла определяется как ошибка узла или примесь узла, взвешенная по вероятности узла:

_Ri = _PiEi,

где _Pi - вероятность узла узла i, а _Ei - либо ошибка узла (для дерева, выращенного путем минимизации критерия двоякости), либо примесь узла (для дерева, выращенного путем минимизации критерия примеси, такого как индекс Джини или отклонение) узла i.

Оценки важности предиктора зависят от того, используете ли вы суррогатные расщепления для обучения.

Если вы используете суррогатные разделения, predictorImportance суммирует изменения в риске узла по всем разделениям в каждом узле ветви, включая суррогатные разделения. Если суррогатные разделения не используются, то функция принимает сумму над лучшими разделениями, найденными в каждом узле ветви.
Оценки важности предиктора не зависят от порядка предикторов, если вы используете суррогатные расщепления, но зависят от порядка, если вы не используете суррогатные расщепления.

Примесь и ошибка узла

Дерево решений разбивает узлы на основании либо примеси, либо ошибки узла.

Примесь означает одну из нескольких вещей, в зависимости от вашего выбора SplitCriterion аргумент пары имя-значение:

Индекс разнообразия Джини (gdi) - индекс Джини узла равен
$\underset{}{}^{1−∑ip2} (i$ ),
где сумма превышает классы i в узле, и p (i) - наблюдаемая доля классов с классом i, которые достигают узла. Узел только с одним классом (чистый узел) имеет индекс Джини0; в противном случае индекс Джини является положительным. Таким образом, индекс Джини является мерой примеси узла.
Девианс ('deviance') - Если p (i) определено так же, как для индекса Джини, отклонение узла равно
$\underset{}{} −∑ip (i)_{} log2p ($ i).
Чистый узел имеет отклонение 0; в противном случае отклонение является положительным.
Двоякое правило ('twoing') - Twoing не является мерой чистоты узла, но является другой мерой для решения, как разделить узел. Пусть L (i) обозначает долю членов класса i в левом дочернем узле после разделения, а R (i) обозначает долю членов класса i в правом дочернем узле после разделения. Выберите критерий разделения для максимизации
$P (L) P {(\underset{)}{R} (\sumi'L (i) -}^{} R$ (i) |) 2,
где P (L) и P (R) - доли наблюдений, которые делятся влево и вправо соответственно. Если выражение велико, разделение делает каждый дочерний узел более чистым. Аналогично, если выражение мало, разделение делает каждый дочерний узел похожим друг на друга и, следовательно, похожим на родительский. Разделение не увеличивало чистоту узла.
Ошибка узла - ошибка узла - это доля неправильно классифицированных классов в узле. Если j - класс с наибольшим количеством обучающих выборок в узле, ошибка узла
1 - p (j).

Прогностическая мера ассоциации

Прогностическая мера ассоциации - это значение, указывающее на сходство между правилами принятия решений, разделяющими наблюдения. Среди всех возможных разделений решений, которые сравниваются с оптимальным разделением (найденным при выращивании дерева), лучшее разделение суррогатного решения дает максимальную прогностическую меру ассоциации. Второй по величине суррогатный раскол имеет вторую по величине прогностическую меру ассоциации.

Предположим, _{что xj} и _xk являются прогнозирующими переменными j и k, соответственно, и j ≠ k. В узле t прогностическая мера ассоциации между оптимальным split _xj < u и суррогатным split _xk < v равна

$_{λ jk} \frac{= \min_{} (_{PL}, PR)_{-_{} (_{1}} -_{_{}_{}}}{PLjLk −_{}_{PRjRk})}$ min (PL, PR).

_PL - доля наблюдений в узле t, такая, что _xj < u. Нижний индекс L обозначает левый нижестоящий элемент узла t.
_PR - это доля наблюдений в узле t, такая, что _xj ≥ u. Нижний индекс R обозначает правый нижестоящий элемент узла t.
$_{_{}_{PLjLk}}$ - доля наблюдений на узле t, такая, что _xj < u и _xk < v
$_{_{}_{PRjRk}}$ - это доля наблюдений в узле t, так что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют расчетам пропорций.

_{λ jk} - значение в (- ∞,1]. Если _{λ jk} > 0, то _xk < v является стоящим суррогатным разделением для _xj < u.

Алгоритмы

Элемент ma(i,j) является прогностической мерой ассоциации, усредненной по суррогатным разделениям на предикторе j для какого предиктора i является оптимальным расщепленным предиктором. Это среднее вычисляется путем суммирования положительных значений прогностической меры ассоциации по оптимальным разделениям на предикторе. i и суррогатные расщепления на предикторе j и деление на общее количество оптимальных расщеплений на предикторе i, включая разделения, для которых прогностическая мера связи между предикторами i и j отрицательный.

См. также

predictorImportance (ClassificationTree) | templateTree

Документация