predictorImportance

Оценки важности предиктора для ансамбля классификации деревьев решений

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens путем подведения итогов этих оценок по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить этот ансамбль. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P- P матрица с прогнозирующими мерами ассоциации для P предикторы, когда ученики в ens содержите суррогатные разделения. Смотрите Больше О.

Входные параметры

ens

Ансамбль классификации деревьев решений, созданных fitcensemble, или compact метод.

Выходные аргументы

imp

Вектор-строка с тем же числом элементов как количество предикторов (столбцы) в ens.X. Записи являются оценками важности предиктора с 0 представление наименьшей важности.

ma

P- P матрица прогнозирующих мер ассоциации для P предикторы. Элемент ma(I,J) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе J для которого предиктора I оптимальный предиктор разделения. predictorImportance составляет в среднем эту прогнозирующую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оцените важность предиктора

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в ирисовых данных Фишера.

Загрузите ирисовый набор данных Фишера.

load fisheriris

Обучите ансамбль классификации, использующий AdaBoostM2. Задайте пни как слабых учеников.

t = templateTree('MaxNumSplits',1);
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора для всех переменных предикторов.

imp = predictorImportance(ens)

imp = 1×4

    0.0004    0.0016    0.1266    0.0324

Первые два предиктора не очень важны в ансамбле.

Важность предиктора и суррогатные разделения

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в ирисовых данных Фишера для ансамбля, где деревья содержат суррогатные разделения.

Загрузите ирисовый набор данных Фишера.

load fisheriris

Вырастите ансамбль 100 деревьев классификации с помощью AdaBoostM2. Задайте пни как слабых учеников, и также идентифицируйте суррогатные разделения.

t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных предикторов.

[imp,ma] = predictorImportance(ens)

imp = 1×4

    0.0674    0.0417    0.1582    0.1537

ma = 4×4

    1.0000         0         0         0
    0.0115    1.0000    0.0022    0.0054
    0.3186    0.2137    1.0000    0.6391
    0.0392    0.0073    0.1137    1.0000

Первые два предиктора показывают намного больше важности, чем анализ в Оценочной Важности Предиктора.

Больше о

развернуть все

Важность предиктора

predictorImportance оценочная важность предиктора для каждого древовидного ученика в ансамбле ens и возвращает средневзвешенный imp вычисленное использование ens.TrainedWeight. Выход imp имеет один элемент для каждого предиктора.

predictorImportance вычисляет меры по важности предикторов в дереве путем подведения итогов изменений в риске узла из-за разделений на каждом предикторе и затем деления суммы общим количеством узлов ветви. Изменение в риске узла является различием между риском для родительского узла и общим риском для двух дочерних элементов. Например, если дерево разделяет родительский узел (например, узел 1) в два дочерних узла (например, узлы 2 и 3), то predictorImportance увеличивает важность предиктора разделения

(_R1 – _R2 – _R3)/Nbranch,

где _Ri является риском узла узла i, и _ветвь N является общим количеством узлов ветви. node risk задан как ошибка узла или примесь узла, взвешенная вероятностью узла:

_Ri = _Pi _Ei,

где _Pi является вероятностью узла узла i, и _Ei является любой ошибкой узла (для дерева, выращенного путем минимизации twoing критерия) или примесь узла (для дерева, выращенного путем минимизации примесного критерия, такого как индекс Gini или отклонение) узла i.

Оценки важности предиктора зависят от того, используете ли вы суррогатные разделения для обучения.

Если вы используете суррогатные разделения, predictorImportance суммирует изменения в риске узла по всем разделениям в каждом узле ветви, включая суррогатные разделения. Если вы не используете суррогатные разделения, то функция берет сумму по лучшим разделениям, найденным в каждом узле ветви.
Оценки важности предиктора не зависят от порядка предикторов, если вы используете суррогатные разделения, но действительно зависите от порядка, если вы не используете суррогатные разделения.

Примесь и ошибка узла

Дерево решений разделяет узлы или на основе impurity или на основе node error.

Примесь означает одну из нескольких вещей, в зависимости от вашего выбора SplitCriterion аргумент пары "имя-значение":

Индекс разнообразия Джини (gdi) — Индекс Gini узла
$1 - \sum_{i} p^{2} (i),$
где суммой является по классам i в узле, и p (i) является наблюдаемой частью классов с классом i, которые достигают узла. Узел со всего одним классом (узел pure) сделал, чтобы Gini индексировал 0; в противном случае индекс Gini положителен. Таким образом, индекс Gini является мерой примеси узла.
Отклонение ('deviance') — С p (i) задал то же самое что касается индекса Gini, отклонение узла
$- \sum_{i} p (i) \log_{2} p (i) .$
Чистый узел имеет отклонение 0; в противном случае отклонение положительно.
Правило Twoing ('twoing') — Twoing не является мерой по чистоте узла, но является различной мерой для решения, как разделить узел. Позволенный L (i) обозначает часть членов класса i в левом дочернем узле после разделения, и R (i) обозначает часть членов класса i в правильном дочернем узле после разделения. Выберите критерий разделения, чтобы максимизировать
$P (L) P (R) {(\sum_{i} | L (i) - R (i) |)}^{2},$
где P (L) и P (R) является частями наблюдений, которые разделяют налево и право соответственно. Если выражение является большим, разделение сделало каждый дочерний узел более чистым. Точно так же, если выражение мало, разделение сделало каждый дочерний узел похожим друг на друга, и поэтому похожим на родительский узел. Разделение не увеличило чистоту узла.
Ошибка узла — ошибка узла является частью неправильно классифицированных классов в узле. Если j является классом с наибольшим числом обучающих выборок в узле, ошибка узла
1 – p (j).

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает, что подобие между решением управляет что наблюдения разделения. Среди всех возможных разделений решения, которые сравниваются с оптимальным разделением (найденный путем роста дерева), лучшее суррогатное разделение решения дает к максимальной прогнозирующей мере ассоциации. Второсортное суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим_{, что xj} и _xk являются переменными предикторами j и k, соответственно, и j ≠ k. В узле t прогнозирующая мера ассоциации между оптимальным разделением _xj <u и суррогат разделяют _xk <v

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{min (P_{L}, P_{R})} .$

_PL является пропорцией наблюдений в узле t, такой что _xj <u. Индекс L выдерживает за покинутый дочерний элемент узла t.
_PR является пропорцией наблюдений в узле t, такой что _xj ≥ u. Индекс R выдерживает за правильный дочерний элемент узла t.
$P_{L_{j} L_{k}}$ пропорция наблюдений в узле t, такой что _xj <u и _xk <v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислениям пропорции.

_λjk является значением в (– ∞, 1]. Если _λjk> 0, то _xk <v является стоящим суррогатным разделением для _xj <u.

Алгоритмы

Элемент ma(i,j) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе j для которого предиктора i оптимальный предиктор разделения. Это среднее значение вычисляется путем подведения итогов положительных значений прогнозирующей меры ассоциации по оптимальным разделениям на предикторе i и суррогат разделяет на предикторе j и деление на общее количество оптимальных разделений на предикторе i, включая разделения, для который прогнозирующая мера ассоциации между предикторами i и j отрицательно.

Расширенные возможности

Массивы графического процессора
Ускорьте код путем работы графического процессора (GPU) с помощью Parallel Computing Toolbox™.

Эта функция полностью поддерживает массивы графического процессора. Для получения дополнительной информации смотрите функции MATLAB Запуска на графическом процессоре (Parallel Computing Toolbox).

Документация

predictorImportance

Синтаксис

Описание

Входные параметры

Выходные аргументы

Примеры

Оцените важность предиктора

Важность предиктора и суррогатные разделения

Больше о

Важность предиктора

Примесь и ошибка узла

Прогнозирующая мера ассоциации

Алгоритмы

Расширенные возможности

Массивы графического процессора
Ускорьте код путем работы графического процессора (GPU) с помощью Parallel Computing Toolbox™.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

Документация

predictorImportance

Синтаксис

Описание

Входные параметры

Выходные аргументы

Примеры

Оцените важность предиктора

Важность предиктора и суррогатные разделения

Больше о

Важность предиктора

Примесь и ошибка узла

Прогнозирующая мера ассоциации

Алгоритмы

Расширенные возможности

Массивы графического процессора Ускорьте код путем работы графического процессора (GPU) с помощью Parallel Computing Toolbox™.

Смотрите также

Темы

Документация Statistics and Machine Learning Toolbox

Поддержка

Массивы графического процессора
Ускорьте код путем работы графического процессора (GPU) с помощью Parallel Computing Toolbox™.