predictorImportance

Оценки важности предиктора для ансамбля регрессии

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens путем подведения итогов этих оценок по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить этот ансамбль. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P- P матрица с прогнозирующими мерами ассоциации для P предикторы.

Входные параметры

ens

Ансамбль регрессии, созданный fitrensemble, или compact метод.

Выходные аргументы

imp

Вектор-строка с тем же числом элементов как количество предикторов (столбцы) в ens.X. Записи являются оценками важности предиктора с 0 представление наименьшей важности.

ma

P- P матрица прогнозирующих мер ассоциации для P предикторы. Элемент ma(I,J) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе J для которого предиктора I оптимальный предиктор разделения. predictorImportance составляет в среднем эту прогнозирующую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оцените важность предиктора

Скрипт Open Live Script

Оцените важность предиктора для всех переменных предикторов в данных.

Загрузите carsmall набор данных.

load carsmall

Вырастите ансамбль 100 деревьев регрессии для MPG использование Acceleration, Cylinders, Displacement, Horsepower, Model_Year, и Weight как предикторы. Задайте пни как слабых учеников.

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1);
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора для всех переменных предикторов.

imp = predictorImportance(ens)

imp = 1×6

    0.0150         0    0.0066    0.1111    0.0437    0.5181

Weight, последний предиктор, оказывает большую часть влияния на пробег. Второй предиктор имеет важность 0, что означает, что количество цилиндров не оказывает влияния на предсказания, сделанные с ens.

Важность предиктора и суррогатные разделения

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в данных и где ансамбль дерева регрессии содержит суррогатные разделения.

Загрузите carsmall набор данных.

load carsmall

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных предикторов.

[imp,ma] = predictorImportance(ens)

imp = 1×6

    0.2065    0.3799    0.4100    0.6190    0.3670    0.5476

ma = 6×6

    1.0000    0.0098    0.0102    0.0098    0.0033    0.0067
         0    1.0000         0         0         0         0
    0.0056    0.0084    1.0000    0.0078    0.0022    0.0084
    0.2232    0.1574    0.2066    1.0000    0.0580    0.2059
    0.0061    0.0070    0.0063    0.0064    1.0000    0.0056
    0.0200    0.0368    0.0620    0.0521    0.0098    1.0000

Сравнение imp к результатам в Оценочной Важности Предиктора, Horsepower оказывает самое большое влияние на пробег, с Weight оказывание второго по величине влияния.

Больше о

развернуть все

Важность предиктора

predictorImportance вычисляет оценки важности предиктора для ens путем подведения итогов изменений в среднеквадратической ошибке (MSE) из-за разделений на каждом предикторе и деления суммы на количество узлов ветви. Если ens выращен без суррогатных разделений, эта сумма взята по лучшим разделениям, найденным в каждом узле ветви. Если ens выращен с суррогатными разделениями, эта сумма взята по всем разделениям в каждом узле ветви включая суррогатные разделения. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить ens. В каждом узле MSE оценивается как ошибка узла, взвешенная вероятностью узла. Переменная важность, сопоставленная с этим разделением, вычисляется как различие между MSE для родительского узла и общим MSE для двух дочерних элементов.

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает, что подобие между решением управляет что наблюдения разделения. Среди всех возможных разделений решения, которые сравниваются с оптимальным разделением (найденный путем роста дерева), лучшее суррогатное разделение решения дает к максимальной прогнозирующей мере ассоциации. Второсортное суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим_{, что xj} и _xk являются переменными предикторами j и k, соответственно, и j ≠ k. В узле t прогнозирующая мера ассоциации между оптимальным разделением _xj <u и суррогат разделяют _xk <v

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{min (P_{L}, P_{R})} .$

_PL является пропорцией наблюдений в узле t, такой что _xj <u. Индекс L выдерживает за покинутый дочерний элемент узла t.
_PR является пропорцией наблюдений в узле t, такой что _xj ≥ u. Индекс R выдерживает за правильный дочерний элемент узла t.
$P_{L_{j} L_{k}}$ пропорция наблюдений в узле t, такой что _xj <u и _xk <v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислениям пропорции.

_λjk является значением в (– ∞, 1]. Если _λjk> 0, то _xk <v является стоящим суррогатным разделением для _xj <u.

Алгоритмы

Элемент ma(i,j) прогнозирующая мера ассоциации, усредненной по суррогатным разделениям на предикторе j для которого предиктора i оптимальный предиктор разделения. Это среднее значение вычисляется путем подведения итогов положительных значений прогнозирующей меры ассоциации по оптимальным разделениям на предикторе i и суррогат разделяет на предикторе j и деление на общее количество оптимальных разделений на предикторе i, включая разделения, для который прогнозирующая мера ассоциации между предикторами i и j отрицательно.

Документация