Документация

Исследование ошибки перезамены

Resubstitution error является различием между обучающими данными ответа и предсказаниями, которые дерево делает из ответа на основе входных обучающих данных. Если ошибка перезамены будет высока, вы не можете ожидать, что предсказания дерева будут хороши. Однако наличие низкой ошибки перезамены не гарантирует хорошие предсказания для новых данных. Ошибка перезамены часто является чрезмерно оптимистической оценкой прогнозирующей ошибки на новых данных.

load fisheriris

Mdl = fitctree(meas,species);

resuberror = resubLoss(Mdl)

resuberror = 0.0200

Перекрестная проверка

Чтобы получить лучший смысл прогнозирующей точности вашего дерева для новых данных, крест подтверждает дерево. По умолчанию перекрестная проверка разделяет обучающие данные в 10 частей наугад. Это обучает 10 новых деревьев, каждого на девяти частях данных. Это затем исследует прогнозирующую точность каждого нового дерева на данных, не включенных в обучение то дерево. Этот метод дает хорошую оценку прогнозирующей точности получившегося дерева, поскольку это тестирует новые деревья на новых данных.

load carsmall
X = [Acceleration Displacement Horsepower Weight];

rtree = fitrtree(X,MPG);

resuberror = resubLoss(rtree)

resuberror = 4.7188

rng 'default';
cvrtree = crossval(rtree);
cvloss = kfoldLoss(cvrtree)

cvloss = 23.5706

Выберите Split Predictor Selection Technique

Стандартный алгоритм CART имеет тенденцию выбирать непрерывные предикторы, которые имеют много уровней. Иногда, такой выбор может быть побочным и может также замаскировать более важные предикторы, которые имеют меньше уровней, таких как категориальные предикторы. Таким образом, процесс выбора предиктора в каждом узле смещается. Кроме того, стандартный CART имеет тенденцию пропускать важные взаимодействия между парами предикторов и ответа.

Чтобы смягчить обнаружение смещения и увеличения выбора важных взаимодействий, можно задать использование искривления или тестов взаимодействия с помощью 'PredictorSelection' аргумент пары "имя-значение". Используя искривление или взаимодействие тест имеет добавленное преимущество создания лучших оценок важности предиктора, чем стандартный CART.

Эта таблица суммирует поддерживаемые методы выбора предиктора.

Для получения дополнительной информации о методах выбора предиктора:

Управляйте глубиной или “густой листвой”

Когда вы выращиваете дерево решений, рассматриваете его простоту и предсказательную силу. Глубокое дерево со многими листами обычно очень точно на обучающих данных. Однако дерево, как гарантируют, не покажет сопоставимую точность на независимом наборе тестов. Покрытое листвой дерево имеет тенденцию перетренироваться (или сверхподгонка), и ее тестовая точность часто далеко меньше ее обучения (перезамена) точность. В отличие от этого мелкое дерево не достигает высокой учебной точности. Но мелкое дерево может быть более устойчивым — его учебная точность могла быть близко к тому из представительного набора тестов. Кроме того, мелкое дерево легко интерпретировать. Если у вас нет достаточного количества данных для обучения и теста, оцените древовидную точность перекрестной проверкой.

fitctree и fitrtree имейте три аргумента пары "имя-значение", которые управляют глубиной получившихся деревьев решений:

Если вы задаете MinParentSize и MinLeafSize, ученик использует установку, которая дает к деревьям с большими листами (i.e., более мелкие деревья):

Если вы предоставляете MaxNumSplits, программное обеспечение разделяет дерево, пока одному из трех разделяющих критериев не удовлетворяют.

Для альтернативного метода управления древовидной глубиной смотрите Сокращение.

load ionosphere

leafs = logspace(1,2,10);

rng('default')
N = numel(leafs);
err = zeros(N,1);
for n=1:N
    t = fitctree(X,Y,'CrossVal','On',...
        'MinLeafSize',leafs(n));
    err(n) = kfoldLoss(t);
end
plot(leafs,err);
xlabel('Min Leaf Size');
ylabel('cross-validated error');

DefaultTree = fitctree(X,Y);
view(DefaultTree,'Mode','Graph')

OptimalTree = fitctree(X,Y,'MinLeafSize',40);
view(OptimalTree,'mode','graph')

resubOpt = resubLoss(OptimalTree);
lossOpt = kfoldLoss(crossval(OptimalTree));
resubDefault = resubLoss(DefaultTree);
lossDefault = kfoldLoss(crossval(DefaultTree));
resubOpt,resubDefault,lossOpt,lossDefault

resubOpt = 0.0883

resubDefault = 0.0114

lossOpt = 0.1054

lossDefault = 0.1054

Сокращение

Сокращение оптимизирует древовидную глубину (густая листва) путем слияния листов на той же древовидной ветви. Управляйте Глубиной, или “Густая листва” описывает один метод для выбора оптимальной глубины для дерева. В отличие от этого, в том разделе, вы не должны выращивать новое дерево для каждого размера узла. Вместо этого вырастите глубокое дерево и сократите его к уровню, который вы выбираете.

Сократите дерево в командной строке с помощью prune метод (классификация) или prune метод (регрессия). В качестве альтернативы сократите дерево в интерактивном режиме с древовидным средством просмотра:

view(tree,'mode','graph')

Чтобы сократить дерево, дерево должно содержать последовательность сокращения. По умолчанию, оба fitctree и fitrtree вычислите последовательность сокращения для дерева во время конструкции. Если вы создаете дерево с 'Prune' набор пары "имя-значение" к 'off', или если вы сокращаете дерево к меньшему уровню, дерево не содержит полную последовательность сокращения. Сгенерируйте полную последовательность сокращения с prune метод (классификация) или prune метод (регрессия).

load ionosphere

tree = fitctree(X,Y);

view(tree,'Mode','Graph')

[~,~,~,bestlevel] = cvLoss(tree,...
    'SubTrees','All','TreeSize','min')

bestlevel = 6

view(tree,'Mode','Graph','Prune',6)

[~,~,~,bestlevel] = cvLoss(tree,'SubTrees','All')

bestlevel = 6

tree = prune(tree,'Level',6); 
view(tree,'Mode','Graph')