predictorImportance

Оценки важности предиктора для ансамбля регрессии

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens путем подведения итогов этих оценок по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить этот ансамбль. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P- P матрица с прогнозирующими мерами ассоциации для P предикторы.

Входные параметры

ens

Ансамбль регрессии, созданный fitrensemble, или compact метод.

Выходные аргументы

imp

Вектор-строка с тем же числом элементов как количество предикторов (столбцы) в ens.X. Записи являются оценками важности предиктора с 0 представление наименьшей важности.

ma

P- P матрица прогнозирующих мер ассоциации для P предикторы. Элемент ma(I,J) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе J для которого предиктора I оптимальный предиктор разделения. predictorImportance составляет в среднем эту прогнозирующую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оцените важность предиктора

Скрипт Open Live Script

Оцените важность предиктора для всех переменных предикторов в данных.

Загрузите carsmall набор данных.

load carsmall

Вырастите ансамбль 100 деревьев регрессии для MPG использование Acceleration, Cylinders, Displacement, Horsepower, Model_Year, и Weight как предикторы. Задайте пни как слабых учеников.

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1);
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора для всех переменных предикторов.

imp = predictorImportance(ens)

imp = 1×6

    0.0150         0    0.0066    0.1111    0.0437    0.5181

Weight, последний предиктор, оказывает большую часть влияния на пробег. Второй предиктор имеет важность 0, что означает, что количество цилиндров не оказывает влияния на предсказания, сделанные с ens.

Важность предиктора и суррогатные разделения

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в данных и где ансамбль дерева регрессии содержит суррогатные разделения.

Загрузите carsmall набор данных.

load carsmall

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных предикторов.

[imp,ma] = predictorImportance(ens)

imp = 1×6

    0.2141    0.3798    0.4369    0.6498    0.3728    0.5700

ma = 6×6

    1.0000    0.0098    0.0102    0.0098    0.0033    0.0067
         0    1.0000         0         0         0         0
    0.0056    0.0084    1.0000    0.0078    0.0022    0.0084
    0.3537    0.4769    0.5834    1.0000    0.1612    0.5827
    0.0061    0.0070    0.0063    0.0064    1.0000    0.0056
    0.0154    0.0296    0.0533    0.0447    0.0070    1.0000

Сравнение imp к результатам в Оценочной Важности Предиктора, Horsepower оказывает самое большое влияние на пробег, с Weight оказывание второго по величине влияния.

Больше о

развернуть все

Важность предиктора

predictorImportance оценочная важность предиктора предикторов для каждого древовидного ученика в ансамбле ens и возвращает средневзвешенный imp вычисленное использование ens.TrainedWeight. Выход imp имеет один элемент для каждого предиктора.

predictorImportance вычисляет меры по важности предикторов в дереве путем подведения итогов изменений в риске узла из-за разделений на каждом предикторе и затем деления суммы общим количеством узлов ветви. Изменение в риске узла является различием между риском для родительского узла и общим риском для двух дочерних элементов. Например, если дерево разделяет родительский узел (например, узел 1) в два дочерних узла (например, узлы 2 и 3), то predictorImportance увеличивает важность предиктора разделения

(_R1 – _R2 – _R3)/Nbranch,

где _Ri является риском узла узла i, и _ветвь N является общим количеством узлов ветви. node risk задан как ошибка узла, взвешенная вероятностью узла:

_Ri = _Pi _Ei,

где _Pi является вероятностью узла узла i, и _Ei является среднеквадратической ошибкой узла i.

Оценки важности предиктора зависят от того, используете ли вы суррогатные разделения для обучения.

Если вы используете суррогатные разделения, predictorImportance суммирует изменения в риске узла по всем разделениям в каждом узле ветви, включая суррогатные разделения. Если вы не используете суррогатные разделения, то функция берет сумму по лучшим разделениям, найденным в каждом узле ветви.
Оценки важности предиктора не зависят от порядка предикторов, если вы используете суррогатные разделения, но действительно зависите от порядка, если вы не используете суррогатные разделения.

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает, что подобие между решением управляет что наблюдения разделения. Среди всех возможных разделений решения, которые сравниваются с оптимальным разделением (найденный путем роста дерева), лучшее суррогатное разделение решения дает к максимальной прогнозирующей мере ассоциации. Второсортное суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим_{, что xj} и _xk являются переменными предикторами j и k, соответственно, и j ≠ k. В узле t прогнозирующая мера ассоциации между оптимальным разделением _xj <u и суррогат разделяют _xk <v

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{min (P_{L}, P_{R})} .$

_PL является пропорцией наблюдений в узле t, такой что _xj <u. Индекс L выдерживает за покинутый дочерний элемент узла t.
_PR является пропорцией наблюдений в узле t, такой что _xj ≥ u. Индекс R выдерживает за правильный дочерний элемент узла t.
$P_{L_{j} L_{k}}$ пропорция наблюдений в узле t, такой что _xj <u и _xk <v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислениям пропорции.

_λjk является значением в (– ∞, 1]. Если _λjk> 0, то _xk <v является стоящим суррогатным разделением для _xj <u.

Алгоритмы

Элемент ma(i,j) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе j для которого предиктора i оптимальный предиктор разделения. Это среднее значение вычисляется путем подведения итогов положительных значений прогнозирующей меры ассоциации по оптимальным разделениям на предикторе i и суррогат разделяет на предикторе j и деление на общее количество оптимальных разделений на предикторе i, включая разделения, для который прогнозирующая мера ассоциации между предикторами i и j отрицательно.

Документация