predictorImportance

Оценки предикторной важности для регрессионого ансамбля

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки предикторной важности для ens путем суммирования этих оценок по всем слабым ученикам ансамбля. imp имеет один элемент для каждого входного предиктора в данных, используемых для обучения этого ансамбля. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает P-by- P матрица с прогнозирующими показателями ассоциации для P предикторы.

Входные параметры

ens

Регрессионный ансамбль, созданный fitrensemble, или по compact способ.

Выходные аргументы

imp

A вектора-строки с таким же количеством элементов, как и количество предикторов (столбцов) в ens.X. Записи являются оценками предикторной важности с 0 представляющих наименьшую возможную важность.

ma

A P-by- P матрица прогнозирующих мер ассоциации для P предикторы. Элементный ma(I,J) - прогнозирующая мера ассоциации, усредненная по суррогатным расщеплениям на предикторе J для какого предиктора I является оптимальным предиктором разделения. predictorImportance усредняет эту прогнозирующую меру ассоциации по всем деревьям ансамбля.

Примеры

расширить все

Оценка важности предиктора

Открыть Live Script

Оцените важность предиктора для всех переменных предиктора в данных.

Загрузите carsmall набор данных.

load carsmall

Вырастите ансамбль из 100 регрессионых деревьев для MPG использование Acceleration, Cylinders, Displacement, Horsepower, Model_Year, и Weight как предикторы. Задайте древовидные пни как слабые ученики.

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1);
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора для всех переменных предиктора.

imp = predictorImportance(ens)

imp = 1×6

    0.0150         0    0.0066    0.1111    0.0437    0.5181

Weight, последний предиктор, оказывает наибольшее влияние на пробег. Второй предиктор имеет важность 0, что означает, что количество цилиндров не влияет на предсказания, сделанные с ens.

Важность предиктора и суррогатные расщепления

Открыть Live Script

Оцените важность предиктора для всех переменных в данных и там, где ансамбль регрессионого дерева содержит суррогатные расщепления.

Загрузите carsmall набор данных.

load carsmall

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора и прогнозирующие меры ассоциации для всех переменных предиктора.

[imp,ma] = predictorImportance(ens)

imp = 1×6

    0.2141    0.3798    0.4369    0.6498    0.3728    0.5700

ma = 6×6

    1.0000    0.0098    0.0102    0.0098    0.0033    0.0067
         0    1.0000         0         0         0         0
    0.0056    0.0084    1.0000    0.0078    0.0022    0.0084
    0.3537    0.4769    0.5834    1.0000    0.1612    0.5827
    0.0061    0.0070    0.0063    0.0064    1.0000    0.0056
    0.0154    0.0296    0.0533    0.0447    0.0070    1.0000

Сравнение imp к результатам оценки значения предиктора, Horsepower оказывает наибольшее влияние на пробег, с Weight оказывая второе наибольшее влияние.

Подробнее о

расширить все

Важность предиктора

predictorImportance оценивает предикторную важность предикторов для каждого ученика дерева в ансамбле ens и возвращает взвешенные средние значения imp вычисляется с использованием ens.TrainedWeight. Область выхода imp имеет по одному элементу для каждого предиктора.

predictorImportance вычисляет значения предикторов в дереве путем суммирования изменений в риске узла из-за разбиения на каждый предиктор, а затем деления суммы на общее количество узлов ветви. Изменение риска узла является различием между риском для родительского узла и общим риском для двух дочерних элементов. Для примера, если дерево разделяет родительский узел (для примера, узел 1) на два дочерних узла (для примера, узлов 2 и 3), то predictorImportance увеличивает важность разделения предиктора на

(_R1 - _R2 - _R3 )/ _{N ветвь},

где _Ri - риск узла i, а N _ветвь - общее количество узлов филиала. node risk определяется как ошибка узла, взвешенная вероятностью узла:

_Ri = _{<reservedrangesplaceholder1> <reservedrangesplaceholder0>},

где _Pi - вероятность узла для i, а _Ei - средняя квадратичная невязка узла i.

Оценки предикторной важности зависят от того, используете ли вы суррогатные расщепления для обучения.

Если вы используете суррогатные расщепления, predictorImportance суммирует изменения риска узла по всем разделениям в каждом узле ветви, включая суррогатные разделения. Если вы не используете суррогатные разделения, то функция принимает сумму над лучшими разделениями, найденными в каждом узле ветви.
Оценки предикторной важности не зависят от порядка предикторов, если вы используете суррогатные расщепления, но зависят от порядка, если вы не используете суррогатные расщепления.

Прогнозирующая мера ассоциации

predictive measure of association является значением, которое указывает на сходство между правилами принятия решений, которые разделяют наблюдения. Среди всех возможных разделений решений, которые сравниваются с оптимальным разделением (найденным путем роста дерева), лучшее разделение суррогатных решений приводит к максимальной прогнозирующей мере ассоциации. Второе лучшее суррогатное разделение имеет вторую по величине прогнозирующую меру ассоциации.

Предположим _xj, и _xk переменные предсказателя j и k, соответственно, и <reservedrangesplaceholder6> ≠ <reservedrangesplaceholder5>. В узле t _{прогнозирующая} мера ассоциации _между оптимальным разделением xj < u и суррогатным разделением xk < v,

$λ_{j k} = \frac{min (P_{L}, P_{R}) - (1 - P_{L_{j} L_{k}} - P_{R_{j} R_{k}})}{минута (P_{L}, P_{R})} .$

_PL - это доля наблюдений в узле t, такая что _xj < u. L индекса обозначает левый дочерний элемент узла t.
_PR - пропорция наблюдений в узле t, такой что _{<reservedrangesplaceholder3> ≥ <reservedrangesplaceholder2>}. R индекса обозначает правый дочерний элемент узла t.
$P_{L_{j} L_{k}}$ - доля наблюдений в узле t, такая что _xj < u и _xk < v.
$P_{R_{j} R_{k}}$ пропорция наблюдений в узле t, такой что _{<reservedrangesplaceholder3> ≥ <reservedrangesplaceholder2>} и <reservedrangesplaceholder1> ≥ <reservedrangesplaceholder0>.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют вычислению пропорции.

_λjk является значением в (- ∞, 1]. Если _λjk > 0, то xk < v является стоящим суррогатным разделением для xj < u.

Алгоритмы

Элементный ma(i,j) - прогнозирующая мера ассоциации, усредненная по суррогатным расщеплениям на предикторе j для какого предиктора i является оптимальным предиктором разделения. Это среднее значение вычисляется путем суммирования положительных значений прогнозирующей меры ассоциации над оптимальными делениями на предикторе i и суррогатные разделения на предикторы j и деление на общее количество оптимальных разбиений на предикторы i, включая разделения, для которых прогнозирующая мера ассоциации между предикторами i и j отрицательно.

См. также

plotPartialDependence | predictorImportance (RegressionTree) | templateTree

Документация