oobQuantileError

Класс: TreeBagger

Потеря квантиля из сумки мешка деревьев регрессии

Синтаксис

err = quantileError(Mdl)

err = quantileError(Mdl,Name,Value)

Описание

err = quantileError(Mdl) возвращает половину среднего абсолютного отклонения (MAD) из сумки в сравнение истинных ответов в Mdl.Y к предсказанным, медианам из сумки в Mdl.X, данные о предикторе и использование мешка деревьев регрессии Mdl. Mdl должен быть TreeBagger объект модели.

пример

err = quantileError(Mdl,Name,Value) дополнительные опции использования заданы одним или несколькими Name,Value парные аргументы. Например, задайте вероятности квантиля, ошибочный тип, или который деревья включать в оценку погрешности регрессии квантиля.

Входные параметры

развернуть все

`Mdl` — Мешок деревьев регрессии
`TreeBagger` объект модели (значение по умолчанию)

Мешок деревьев регрессии, заданных как TreeBagger объект модели создается TreeBagger.

Значение Mdl.Method должен быть regression.
Когда вы обучаете Mdl использование TreeBagger, необходимо задать пару "имя-значение" 'OOBPrediction','on'. Следовательно, TreeBagger сохраняет требуемую матрицу индекса наблюдения из сумки в Mdl.OOBIndices.

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

`'Mode'` — Ошибочный тип ансамбля
`'ensemble'` (значение по умолчанию) | `'cumulative'` | `'individual'`

Ошибочный тип ансамбля, заданный как разделенная запятой пара, состоящая из 'Mode' и значение в этой таблице. Предположим tau значение Quantile.

Значение	Описание
`'cumulative'`	`err` `Mdl.NumTrees`- `numel (tau)` числовая матрица совокупных ошибок регрессии квантиля. `допустите ошибку (jK)` `tauK)` ошибка регрессии квантиля ученики в `Mdl. Деревья (1:j)` только.
`'ensemble'`	`err` 1 `numel (tau)` числовой вектор совокупных ошибок регрессии квантиля для целого ансамбля. `допустите ошибку (k)` `tauK)` ошибка регрессии квантиля ансамбля.
`'individual'`	`err` `Mdl.NumTrees`- `numel (tau)` числовая матрица ошибок регрессии квантиля от отдельных учеников. `допустите ошибку (jK)` `tauK)` ошибка регрессии квантиля ученик в `Mdl. Деревья (j)` только.

Для 'cumulative' и 'individual', если вы принимаете решение включать меньше деревьев в оценку квантиля с помощью Trees, затем это действие влияет на количество строк в err и соответствующие индексы строки.

Пример: 'Mode','cumulative'

`'Quantile'` — Вероятность квантиля
0.5 (значение по умолчанию) | числовой вектор, содержащий значения в [0,1]

Вероятность квантиля, заданная как разделенная запятой пара, состоящая из 'Quantile' и числовой вектор, содержащий значения в интервале [0,1]. Для каждого наблюдения (строка) в Mdl.X, oobQuantileError оценки соответствующие квантили для всех вероятностей в Quantile.

Пример: 'Quantile',[0 0.25 0.5 0.75 1]

Типы данных: single | double

`'Trees'` — Индексы деревьев, чтобы использовать в ответ оценку
`'all'` (значение по умолчанию) | числовой вектор положительных целых чисел

Индексы деревьев, чтобы использовать в ответ оценку, заданную как разделенная запятой пара, состоящая из 'Trees' и 'all' или числовой вектор положительных целых чисел. Индексы соответствуют ячейкам Mdl.Trees; каждая ячейка там содержит дерево в ансамбле. Максимальное значение Trees должно быть меньше чем или равно количеству деревьев в ансамбле (Mdl.NumTrees).

\forall, oobQuantileError использование все деревья в ансамбле (то есть, индексы 1:Mdl.NumTrees).

Значения кроме значения по умолчанию могут влиять на количество строк в err.

Пример: 'Trees',[1 10 Mdl.NumTrees]

Типы данных: char | string | single | double

`'TreeWeights'` — Веса, чтобы приписать ответам от отдельных деревьев
`ones(Mdl.NumTrees,1)` (значение по умолчанию) | числовой вектор неотрицательных значений

Веса, чтобы приписать ответам от отдельных деревьев, заданных как разделенная запятой пара, состоящая из 'TreeWeights' и числовой вектор numel (trees) неотрицательные значения. trees значение Trees.

Если вы задаете 'Mode','individual', затем oobQuantileError игнорирует TreeWeights.

Типы данных: single | double

Выходные аргументы

развернуть все

`err` — Половина ошибки регрессии квантиля из сумки
числовой скаляр | числовая матрица

Половина ошибки регрессии квантиля из сумки, возвращенной в виде числа или T- numel (tau) матрица. tau значение Quantile.

T зависит от значений Mode, Trees, и Quantile. Предположим, что вы задаете 'Квантиль', tau и 'Деревья', trees.

Для 'Mode','cumulative', err numel (trees)- numel (tau) числовая матрица. допустите ошибку (jK) tauK) совокупная, ошибка регрессии квантиля из сумки ученики в Mdl. Деревья (trees(1:j)).
Для 'Mode','ensemble', err 1- numel (tau) числовой вектор. допустите ошибку (k) tauK) совокупная, ошибка регрессии квантиля из сумки ученики в Mdl. Деревья (trees).
Для 'Mode','individual', err numel (trees)- numel (tau) числовая матрица. допустите ошибку (jK) tauK) ошибка регрессии квантиля из сумки ученик в Mdl. Деревья (treesJ)).

Примеры

развернуть все

Оцените ошибку регрессии квантиля из сумки

Попробовать в MATLAB

Загрузите carsmall набор данных. Рассмотрите модель, которая предсказывает экономию топлива автомобиля, учитывая его объем двигателя, вес и количество цилиндров. Рассмотрите Cylinders категориальная переменная.

load carsmall
Cylinders = categorical(Cylinders);
X = table(Displacement,Weight,Cylinders,MPG);

Обучите ансамбль сложенных в мешок деревьев регрессии с помощью целого набора данных. Задайте 100 слабых учеников и сохраните индексы из сумки.

rng(1); % For reproducibility
Mdl = TreeBagger(100,X,'MPG','Method','regression','OOBPrediction','on');

Mdl TreeBagger ансамбль.

Выполните регрессию квантиля и оценку из сумки MAD целого ансамбля, использующего предсказанные условные медианы.

oobErr = oobQuantileError(Mdl)

oobErr = 1.5321

oobErr объективная оценка ошибки регрессии квантиля для целого ансамбля.

Найдите соответствующий размер ансамбля Используя ошибку регрессии квантиля из сумки

Попробовать в MATLAB

Загрузите carsmall набор данных. Рассмотрите модель, которая предсказывает экономию топлива автомобиля, учитывая его объем двигателя, вес и количество цилиндров.

load carsmall
X = table(Displacement,Weight,Cylinders,MPG);

Обучите ансамбль сложенных в мешок деревьев регрессии с помощью целого набора данных. Задайте 250 слабых учеников и сохраните индексы из сумки.

rng('default'); % For reproducibility
Mdl = TreeBagger(250,X,'MPG','Method','regression',...
    'OOBPrediction','on');

Оцените совокупное; из сумки; 0.25, 0.5, и 0,75 ошибки регрессии квантиля.

err = oobQuantileError(Mdl,'Quantile',[0.25 0.5 0.75],'Mode','cumulative');

err 250 3 матрица совокупных, из сумки, ошибок регрессии квантиля. Столбцы соответствуют вероятностям квантиля, и строки соответствуют деревьям в ансамбле. Ошибки совокупны, таким образом, они включают агрегированные прогнозы от предыдущих деревьев.

Постройте совокупное, из сумки, ошибки квантиля на том же графике.

figure;
plot(err);
legend('0.25 quantile error','0.5 quantile error','0.75 quantile error');
ylabel('Out-of-bag quantile error');
xlabel('Tree index');
title('Cumulative, Out-of-Bag, Quantile Regression Error')

Все кривые ошибок квантиля, кажется, выравниваются после обучения приблизительно 50 деревьев. Так, обучение 50 деревьев, кажется, достаточно, чтобы достигнуть минимальной ошибки квантиля для трех вероятностей квантиля.

Больше о

развернуть все

Из сумки

В уволенном ансамбле наблюдениями является out-of-bag, когда они упущены из учебной выборки для конкретного ученика. Наблюдениями является in-bag, когда они используются, чтобы обучить конкретного ученика.

При увольнении учеников практик берет выборку начальной загрузки (то есть, случайная выборка с заменой) размера n для каждого ученика, и затем обучает учеников, использующих их соответствующие выборки начальной загрузки. Вытягивание n из наблюдений n с заменой не использует в среднем приблизительно 37% наблюдений для каждого ученика.

Ошибка ансамбля из сумки, ошибка ансамбля, оцененная с помощью наблюдений из сумки только, является несмещенным средством оценки истинной ошибки ансамбля.

Ошибка регрессии квантиля

quantile regression error модели, данной наблюдаемые данные о предикторе и ответы, является взвешенным средним абсолютное отклонение (MAD). Если модель под - предсказывает ответ, то весами отклонения является τ, вероятность квантиля. Если модель завышает, то веса отклонения равняются 1 – τ.

Таким образом, ошибка регрессии квантиля τ

$L_{τ} = τ \frac{\sum_{{j : y_{j} \geq {\hat{y}}_{τ, j}}} w_{j} (y_{j} - {\hat{y}}_{τ, j})}{\sum_{j = 1}^{n} w_{j}} + (1 - τ) \frac{\sum_{{j : y_{j} < {\hat{y}}_{τ, j}}} w_{j} ({\hat{y}}_{τ, j} - y_{j})}{\sum_{j = 1}^{n} w_{j}} .$

_yj является истинным ответом j, ${\hat{y}}_{τ, j}$ квантиль τ, который предсказывает модель, и _wj является весом наблюдения j.

Советы

Ошибочное средство оценки ансамбля из сумки является несмещенным для истинной ошибки ансамбля. Так, к настройкам параметров случайного леса оцените ошибку ансамбля из сумки вместо того, чтобы реализовать перекрестную проверку.

Ссылки

[1] Бреимен, L. Случайные Леса. Машинное обучение 45, стр 5–32, 2001.

[2] Meinshausen, N. “Леса Регрессии квантиля”. Журнал Исследования Машинного обучения, Издания 7, 2006, стр 983–999.

Темы

Настройте случайный лес Используя ошибку квантиля и байесовую оптимизацию

Введенный в R2017b

Документация Statistics and Machine Learning Toolbox

Поддержка

Сообщество Экспонента

Документация

oobQuantileError

Синтаксис

Описание

Входные параметры

Mdl — Мешок деревьев регрессии TreeBagger объект модели (значение по умолчанию)

Аргументы в виде пар имя-значение

'Mode' — Ошибочный тип ансамбля 'ensemble' (значение по умолчанию) | 'cumulative' | 'individual'

'Quantile' — Вероятность квантиля0.5 (значение по умолчанию) | числовой вектор, содержащий значения в [0,1]

'Trees' — Индексы деревьев, чтобы использовать в ответ оценку 'all' (значение по умолчанию) | числовой вектор положительных целых чисел

'TreeWeights' — Веса, чтобы приписать ответам от отдельных деревьев ones(Mdl.NumTrees,1) (значение по умолчанию) | числовой вектор неотрицательных значений

Выходные аргументы

err — Половина ошибки регрессии квантиля из сумки числовой скаляр | числовая матрица

Примеры

Оцените ошибку регрессии квантиля из сумки

Найдите соответствующий размер ансамбля Используя ошибку регрессии квантиля из сумки

Больше о

Из сумки

Ошибка регрессии квантиля

Советы

Ссылки

Смотрите также

Темы

Введенный в R2017b

Документация Statistics and Machine Learning Toolbox

Поддержка

`Mdl` — Мешок деревьев регрессии
`TreeBagger` объект модели (значение по умолчанию)

`'Mode'` — Ошибочный тип ансамбля
`'ensemble'` (значение по умолчанию) | `'cumulative'` | `'individual'`

`'Quantile'` — Вероятность квантиля
0.5 (значение по умолчанию) | числовой вектор, содержащий значения в [0,1]

`'Trees'` — Индексы деревьев, чтобы использовать в ответ оценку
`'all'` (значение по умолчанию) | числовой вектор положительных целых чисел

`'TreeWeights'` — Веса, чтобы приписать ответам от отдельных деревьев
`ones(Mdl.NumTrees,1)` (значение по умолчанию) | числовой вектор неотрицательных значений

`err` — Половина ошибки регрессии квантиля из сумки
числовой скаляр | числовая матрица