predictorImportance

Оценки важности предиктора

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens путем подведения итогов этих оценок по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить этот ансамбль. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P-by-P матрица с прогнозирующими мерами ассоциации для предикторов P.

Входные параметры

ens

Ансамбль регрессии, созданный fitrensemble, или методом compact.

Выходные аргументы

imp

Вектор - строка с тем же числом элементов как количество предикторов (столбцы) в ens .X. Записи являются оценками важности предиктора с 0, представляющим наименьшую важность.

ma

P-by-P матрица прогнозирующих мер ассоциации для предикторов P. ma(I,J) элемента является прогнозирующей мерой ассоциации, усредненной по суррогатным разделениям на предикторе J, для которого предиктора I является оптимальным предиктором разделения. predictorImportance составляет в среднем эту прогнозирующую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оцените важность предиктора

Скрипт Open Live Script

Оцените важность предиктора для всех переменных прогноза в данных.

Загрузите набор данных carsmall.

load carsmall

Вырастите ансамбль 100 деревьев регрессии для MPG с помощью Acceleration, Cylinders, Displacement, Horsepower, Model_Year и Weight как предикторы. Задайте пни как слабых учеников.

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1);
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора для всех переменных прогноза.

imp = predictorImportance(ens)

imp = 1×6

    0.0150         0    0.0066    0.1111    0.0437    0.5181

Weight, последний предиктор, оказывает большую часть влияния на пробег. Второй предиктор имеет важность 0, что означает, что количество цилиндров не оказывает влияния на прогнозы, сделанные с ens.

Важность предиктора и суррогатные разделения

Скрипт Open Live Script

Оцените важность предиктора для всех переменных в данных и где ансамбль дерева регрессии содержит суррогатные разделения.

Загрузите набор данных carsmall.

load carsmall

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных прогноза.

[imp,ma] = predictorImportance(ens)

imp = 1×6

    0.2065    0.3799    0.4100    0.6190    0.3670    0.5476

ma = 6×6

    1.0000    0.0098    0.0102    0.0098    0.0033    0.0067
         0    1.0000         0         0         0         0
    0.0056    0.0084    1.0000    0.0078    0.0022    0.0084
    0.2232    0.1574    0.2066    1.0000    0.0580    0.2059
    0.0061    0.0070    0.0063    0.0064    1.0000    0.0056
    0.0200    0.0368    0.0620    0.0521    0.0098    1.0000

Сравнивая imp с результатами в Оценочной Важности Предиктора, Horsepower оказывает самое большое влияние на пробег с Weight, оказывающим второе по величине влияние.

Больше о

развернуть все

Важность предиктора

predictorImportance вычисляет оценки важности предиктора для tree путем подведения итогов изменений в среднеквадратической ошибке (MSE) из-за разделений на каждом предикторе и деления суммы на количество узлов ответвления. Если дерево выращено без суррогатных разделений, эта сумма взята по лучшим разделениям, найденным в каждом узле ответвления. Если дерево выращено с суррогатными разделениями, эта сумма взята по всем разделениям в каждом узле ответвления включая суррогатные разделения. imp имеет один элемент для каждого входного предиктора в данных, используемых, чтобы обучить это дерево. В каждом узле MSE оценивается как ошибка узла, взвешенная вероятностью узла. Переменная важность, сопоставленная с этим разделением, вычисляется как различие между MSE для родительского узла и общим MSE для двух дочерних элементов.

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает, что подобие между решением управляет что наблюдения разделения. Среди всех возможных разделений решения, которые сравниваются с оптимальным разделением (найденный путем роста дерева), лучшее суррогатное разделение решения приводит к максимальной прогнозирующей мере ассоциации. Второсортное суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим_{, что xj} и _xk являются переменными прогноза j и k, соответственно, и j ≠ k. В узле t прогнозирующая мера ассоциации между оптимальным разделением _xj <u и суррогат разделяют _xk <v

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{min (P_{L}, P_{R})} .$

_PL является пропорцией наблюдений в узле t, такой что _xj <u. Нижний L выдерживает за покинутый дочерний элемент узла t.
_PR является пропорцией наблюдений в узле t, такой что _xj ≥ u. Нижний R выдерживает за правильный дочерний элемент узла t.
$P_{L_{j} L_{k}}$ пропорция наблюдений в узле t, такой что _xj <u и _xk <v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислениям пропорции.

_λjk является значением в (– ∞, 1]. Если _λjk> 0, то _xk <v является стоящим суррогатным разделением для _xj <u.

Алгоритмы

ma(i,j) элемента является прогнозирующей мерой ассоциации, усредненной по суррогатным разделениям на предикторе j, для которого предиктора i является оптимальным предиктором разделения. Это среднее значение вычисляется путем подведения итогов положительных значений прогнозирующей меры ассоциации по оптимальным разделениям на предикторе i и суррогатные разделения на предикторе j и деления на общее количество оптимальных разделений на предикторе i, включая разделения, для которых прогнозирующая мера ассоциации между предикторами i и j отрицательны.

Темы

Выберите Split Predictor Selection Technique

Документация