predictorImportance

Оценки важности предиктора для регрессионного ансамбля

Синтаксис

imp = predictorImportance(ens) [imp,ma] = predictorImportance(ens)

Описание

imp = predictorImportance(ens) вычисляет оценки важности предиктора для ens суммируя эти оценки по всем слабым ученикам в ансамбле. imp имеет один элемент для каждого входного предиктора в данных, используемых для обучения этого ансамбля. Высокое значение указывает, что этот предиктор важен для ens.

[imp,ma] = predictorImportance(ens) возвращает Pоколо-P матрица с прогностическими показателями ассоциации для P предикторы.

Входные аргументы

ens

Регрессионный ансамбль, созданный fitrensemble, или compact способ.

Выходные аргументы

imp

Вектор строки с тем же количеством элементов, что и число предикторов (столбцов) в ens.X. Записи являются оценками важности предиктора, с 0 представляет наименьшую возможную важность.

ma

A Pоколо-P матрица прогностических показателей ассоциации для P предикторы. Элемент ma(I,J) является прогностической мерой ассоциации, усредненной по суррогатным разделениям на предикторе J для какого предиктора I является оптимальным расщепленным предиктором. predictorImportance усредняет эту прогностическую меру ассоциации по всем деревьям в ансамбле.

Примеры

развернуть все

Оценить важность предиктора

Открыть сценарий в реальном времени

Оцените важность предиктора для всех переменных предиктора в данных.

Загрузить carsmall набор данных.

load carsmall

Вырастить ансамбль из 100 регрессионных деревьев для MPG использование Acceleration, Cylinders, Displacement, Horsepower, Model_Year, и Weight в качестве предикторов. Укажите пни дерева в качестве слабых учеников.

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1);
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора для всех переменных предиктора.

imp = predictorImportance(ens)

imp = 1×6

    0.0150         0    0.0066    0.1111    0.0437    0.5181

Weight, последний предиктор, оказывает наибольшее влияние на пробег. Второй предиктор имеет значение 0, что означает, что количество цилиндров не влияет на прогнозы, сделанные с ens.

Важность предиктора и суррогатные расщепления

Открыть сценарий в реальном времени

Оцените важность предиктора для всех переменных в данных и где ансамбль регрессионного дерева содержит суррогатные расщепления.

Загрузить carsmall набор данных.

load carsmall

X = [Acceleration Cylinders Displacement Horsepower Model_Year Weight];
t = templateTree('MaxNumSplits',1,'Surrogate','on');
ens = fitrensemble(X,MPG,'Method','LSBoost','Learners',t);

Оцените важность предиктора и прогностические показатели ассоциации для всех переменных предиктора.

[imp,ma] = predictorImportance(ens)

imp = 1×6

    0.2141    0.3798    0.4369    0.6498    0.3728    0.5700

ma = 6×6

    1.0000    0.0098    0.0102    0.0098    0.0033    0.0067
         0    1.0000         0         0         0         0
    0.0056    0.0084    1.0000    0.0078    0.0022    0.0084
    0.3537    0.4769    0.5834    1.0000    0.1612    0.5827
    0.0061    0.0070    0.0063    0.0064    1.0000    0.0056
    0.0154    0.0296    0.0533    0.0447    0.0070    1.0000

Сравнение imp к результатам оценки важности предиктора, Horsepower оказывает наибольшее влияние на пробег, с Weight имеет второе наибольшее воздействие.

Подробнее

развернуть все

Важность предиктора

predictorImportance оценивает предикторную важность предикторов для каждого учащегося дерева в ансамбле ens и возвращает средневзвешенное значение imp вычислено с использованием ens.TrainedWeight. Продукция imp имеет один элемент для каждого предиктора.

predictorImportance вычисляет показатели важности предикторов в дереве путем суммирования изменений в узловом риске из-за расщеплений на каждом предикторе, а затем деления суммы на общее количество узлов ветвления. Изменение риска узла представляет собой разницу между риском для родительского узла и общим риском для двух нижестоящих элементов. Например, если дерево разбивает родительский узел (например, узел 1) на два дочерних узла (например, узлы 2 и 3), то predictorImportance повышает важность расщепленного предиктора на

(_R1 - _R2 - _R3 )/_Nбранч,

где _Ri - риск узла i, а Nbranch - общее число узлов ветви. Риск узла определяется как ошибка узла, взвешенная по вероятности узла:

_Ri = _PiEi,

где _Pi - вероятность узла для узла i, а _Ei - среднеквадратичная ошибка узла i.

Оценки важности предиктора зависят от того, используете ли вы суррогатные расщепления для обучения.

Если вы используете суррогатные разделения, predictorImportance суммирует изменения в риске узла по всем разделениям в каждом узле ветви, включая суррогатные разделения. Если суррогатные разделения не используются, то функция принимает сумму над лучшими разделениями, найденными в каждом узле ветви.
Оценки важности предиктора не зависят от порядка предикторов, если вы используете суррогатные расщепления, но зависят от порядка, если вы не используете суррогатные расщепления.

Прогностическая мера ассоциации

Прогностическая мера ассоциации - это значение, указывающее на сходство между правилами принятия решений, разделяющими наблюдения. Среди всех возможных разделений решений, которые сравниваются с оптимальным разделением (найденным при выращивании дерева), лучшее разделение суррогатного решения дает максимальную прогностическую меру ассоциации. Второй по величине суррогатный раскол имеет вторую по величине прогностическую меру ассоциации.

Предположим, _{что xj} и _xk являются прогнозирующими переменными j и k, соответственно, и j ≠ k. В узле t прогностическая мера ассоциации между оптимальным split _xj < u и суррогатным split _xk < v равна

$_{λ jk} \frac{= \min_{} (_{PL}, PR)_{-_{} (_{1}} -_{_{}_{}}}{PLjLk −_{}_{PRjRk})}$ min (PL, PR).

_PL - доля наблюдений в узле t, такая, что _xj < u. Нижний индекс L обозначает левый нижестоящий элемент узла t.
_PR - это доля наблюдений в узле t, такая, что _xj ≥ u. Нижний индекс R обозначает правый нижестоящий элемент узла t.
$_{_{}_{PLjLk}}$ - доля наблюдений на узле t, такая, что _xj < u и _xk < v
$_{_{}_{PRjRk}}$ - это доля наблюдений в узле t, так что _xj ≥ u и _xk ≥ v.
Наблюдения с отсутствующими значениями для _xj или _xk не способствуют расчетам пропорций.

_{λ jk} - значение в (- ∞,1]. Если _{λ jk} > 0, то _xk < v является стоящим суррогатным разделением для _xj < u.

Алгоритмы

Элемент ma(i,j) является прогностической мерой ассоциации, усредненной по суррогатным разделениям на предикторе j для какого предиктора i является оптимальным расщепленным предиктором. Это среднее вычисляется путем суммирования положительных значений прогностической меры ассоциации по оптимальным разделениям на предикторе. i и суррогатные расщепления на предикторе j и деление на общее количество оптимальных расщеплений на предикторе i, включая разделения, для которых прогностическая мера связи между предикторами i и j отрицательный.

См. также

plotPartialDependence | predictorImportance (RegressionTree) | templateTree

Документация