Документация

Изучение ошибки реституции

Resubstitution error - это различие между обучающими данными отклика и предсказаниями, которые делает дерево отклика на основе входа обучающих данных. Если ошибка реституции высока, вы не можете ожидать, что предсказания дерева будут хорошими. Однако наличие низкой ошибки реституции не гарантирует хорошие предсказания для новых данных. Ошибка реституции часто является чрезмерно оптимистичной оценкой прогнозирующей ошибки на новых данных.

load fisheriris

Mdl = fitctree(meas,species);

resuberror = resubLoss(Mdl)

resuberror = 0.0200

Перекрестная валидация

Чтобы получить лучшее представление о прогнозирующей точности вашего дерева для новых данных, перекрестно проверьте дерево. По умолчанию перекрестная проверка разделяет обучающие данные на 10 части случайным образом. Он обучает 10 новых деревьев, каждый по девяти частям данных. Затем он исследует прогнозирующую точность каждого нового дерева на данных, не включенных в обучение этого дерева. Этот метод дает хорошую оценку прогнозирующей точности полученного дерева, поскольку он проверяет новые деревья на новых данных.

load carsmall
X = [Acceleration Displacement Horsepower Weight];

rtree = fitrtree(X,MPG);

resuberror = resubLoss(rtree)

resuberror = 4.7188

rng 'default';
cvrtree = crossval(rtree);
cvloss = kfoldLoss(cvrtree)

cvloss = 23.5706

Выберите метод выбора разделения предиктора

Стандартный алгоритм ТЕЛЕЖКА имеет тенденцию выбирать непрерывные предикторы, которые имеют много уровней. Иногда такой выбор может быть ложным и может также замаскировать более важные предикторы, которые имеют меньше уровней, такие как категориальные предикторы. То есть процесс выбора предиктора в каждом узле смещен. Кроме того, стандартная ТЕЛЕЖКА имеет тенденцию пропускать важные взаимодействия между парами предикторов и откликом.

Чтобы уменьшить смещение выбора и увеличить обнаружение важных взаимодействий, можно задать использование тестов кривизны или взаимодействия с помощью 'PredictorSelection' аргумент пары "имя-значение". Использование критерия кривизны или взаимодействия имеет дополнительное преимущество создания лучших оценок предикторной важности, чем стандартная ТЕЛЕЖКА.

Эта таблица суммирует поддерживаемые методы выбора предиктора.

Для получения дополнительной информации о методах выбора предиктора:

Глубина управления или «Листность»

Когда вы выращиваете дерево решений, учитывайте его простоту и прогнозирующую степень. Глубокое дерево со многими листьями обычно очень точно на обучающих данных. Однако дерево не гарантировано показывает сопоставимую точность на независимом тестовом наборе. Листовое дерево имеет тенденцию к переобучению (или сверхподгонке), и его точность теста часто намного меньше, чем точность обучения (реституции). Напротив, мелкое дерево не достигает высокой точности обучения. Но мелкое дерево может быть более устойчивым - его точность обучения может быть близка к точности обучения репрезентативного тестового набора. Также неглубокое дерево легко интерпретировать. Если у вас нет достаточных данных для обучения и тестирования, оцените точность дерева путем перекрестной валидации.

fitctree и fitrtree имеют три аргументов пары "имя-значение", которые управляют глубиной получившихся деревьев решений:

Если вы задаете MinParentSize и MinLeafSize, учащийся использует настройку, которая дает деревья с большими листьями (т.е. более мелкими деревьями):

Если вы поставляете MaxNumSplitsпрограмма разделяет дерево до тех пор, пока не будет удовлетворен один из трех критериев разделения.

Альтернативный метод управления глубиной дерева см. в разделе Обрезка.

load ionosphere

leafs = logspace(1,2,10);

rng('default')
N = numel(leafs);
err = zeros(N,1);
for n=1:N
    t = fitctree(X,Y,'CrossVal','On',...
        'MinLeafSize',leafs(n));
    err(n) = kfoldLoss(t);
end
plot(leafs,err);
xlabel('Min Leaf Size');
ylabel('cross-validated error');

DefaultTree = fitctree(X,Y);
view(DefaultTree,'Mode','Graph')

OptimalTree = fitctree(X,Y,'MinLeafSize',40);
view(OptimalTree,'mode','graph')

resubOpt = resubLoss(OptimalTree);
lossOpt = kfoldLoss(crossval(OptimalTree));
resubDefault = resubLoss(DefaultTree);
lossDefault = kfoldLoss(crossval(DefaultTree));
resubOpt,resubDefault,lossOpt,lossDefault

resubOpt = 0.0883

resubDefault = 0.0114

lossOpt = 0.1054

lossDefault = 0.1054

Сокращение

Обрезка оптимизирует глубину дерева (листность) путем слияния листьев на той же ветви дерева. Control Depth или «Leafiness» описывает один метод выбора оптимальной глубины для дерева. В отличие от этого раздела, вам не нужно выращивать новое дерево для каждого размера узла. Вместо этого вырастите глубокое дерево и обрежьте его до уровня, который вы выберете.

Обрезать дерево в командной строке используя prune метод (классификация) или prune метод (регрессия). Кроме того, обрезайте дерево в интерактивном режиме с помощью средства просмотра дерева:

view(tree,'mode','graph')

Чтобы обрезать дерево, дерево должно содержать последовательность обрезки. По умолчанию оба параметра fitctree и fitrtree вычислите последовательность обрезки для дерева во время конструкции. Если вы создаете дерево с 'Prune' Пара "имя-значение" установлена на 'off'или если вы обрезаете дерево до меньшего уровня, дерево не содержит полную последовательность обрезки. Сгенерируйте полную последовательность обрезки с prune метод (классификация) или prune метод (регрессия).

load ionosphere

tree = fitctree(X,Y);

view(tree,'Mode','Graph')

[~,~,~,bestlevel] = cvLoss(tree,...
    'SubTrees','All','TreeSize','min')

bestlevel = 6

view(tree,'Mode','Graph','Prune',6)

[~,~,~,bestlevel] = cvLoss(tree,'SubTrees','All')

bestlevel = 6

tree = prune(tree,'Level',6); 
view(tree,'Mode','Graph')