Документация

Исследование ошибки перезамены

Resubstitution error является различием между данными тренировки ответа и прогнозами, которые дерево делает из ответа на основе входных данных тренировки. Если ошибка перезамены будет высока, вы не можете ожидать, что прогнозы дерева будут хороши. Однако наличие низкой ошибки перезамены не гарантирует хорошие прогнозы для новых данных. Ошибка перезамены часто является чрезмерно оптимистической оценкой прогнозирующей ошибки на новых данных.

load fisheriris

Mdl = fitctree(meas,species);

resuberror = resubLoss(Mdl)

resuberror = 0.0200

Перекрестная проверка

Чтобы получить лучший смысл прогнозирующей точности вашего дерева для новых данных, крест подтверждает дерево. По умолчанию перекрестная проверка разделяет данные тренировки в 10 частей наугад. Это обучает 10 новых деревьев, каждого на девяти частях данных. Это затем исследует прогнозирующую точность каждого нового дерева на данных, не включенных в обучение то дерево. Этот метод дает хорошую оценку прогнозирующей точности получившегося дерева, поскольку это тестирует новые деревья на новых данных.

load carsmall
X = [Acceleration Displacement Horsepower Weight];

rtree = fitrtree(X,MPG);

resuberror = resubLoss(rtree)

resuberror = 4.7188

rng 'default';
cvrtree = crossval(rtree);
cvloss = kfoldLoss(cvrtree)

cvloss = 25.6450

Выберите Split Predictor Selection Technique

Стандартный алгоритм CART имеет тенденцию выбирать непрерывные предикторы, которые имеют много уровней. Иногда, такой выбор может быть побочным и может также замаскировать более важные предикторы, которые имеют меньше уровней, таких как категориальные предикторы. Таким образом, процесс выбора предиктора в каждом узле смещается. Кроме того, стандартный CART имеет тенденцию пропускать важные взаимодействия между парами предикторов и ответа.

Чтобы смягчить обнаружение смещения и увеличения выбора важных взаимодействий, можно задать использование искривления или тестов взаимодействия с помощью аргумента пары "имя-значение" 'PredictorSelection'. Используя искривление или взаимодействие тест имеет добавленное преимущество создания лучших оценок важности предиктора, чем стандартный CART.

Эта таблица суммирует поддерживаемые методы выбора предиктора.

Для получения дополнительной информации на методах выбора предиктора:

Управляйте глубиной или “густой листвой”

Когда вы выращиваете дерево решений, рассматриваете его простоту и предсказательную силу. Глубокое дерево со многими листами обычно очень точно на данных тренировки. Однако дерево, как гарантируют, не покажет сопоставимую точность на независимом наборе тестов. Покрытое листвой дерево имеет тенденцию перетренироваться (или сверхподгонка), и ее тестовая точность часто является намного меньше, чем ее обучение (перезамена) точность. Напротив, мелкое дерево не достигает высокой учебной точности. Но мелкое дерево может быть более устойчивым — его учебная точность могла быть близко к тому из представительного набора тестов. Кроме того, мелкое дерево легко интерпретировать. Если у вас нет достаточного количества данных для обучения и теста, оцените древовидную точность перекрестной проверкой.

fitctree и fitrtree имеют три аргумента пары "имя-значение", которые управляют глубиной получившихся деревьев решений:

Если вы задаете MinParentSize и MinLeafSize, ученик использует установку, которая приводит к деревьям с большими листами (т.е. более мелкими деревьями):

Если вы предоставляете MaxNumSplits, программное обеспечение разделяет дерево, пока один из трех разделяющих критериев не удовлетворен.

Для альтернативного метода управления древовидной глубиной смотрите Сокращение.

load ionosphere

leafs = logspace(1,2,10);

rng('default')
N = numel(leafs);
err = zeros(N,1);
for n=1:N
    t = fitctree(X,Y,'CrossVal','On',...
        'MinLeafSize',leafs(n));
    err(n) = kfoldLoss(t);
end
plot(leafs,err);
xlabel('Min Leaf Size');
ylabel('cross-validated error');

DefaultTree = fitctree(X,Y);
view(DefaultTree,'Mode','Graph')

OptimalTree = fitctree(X,Y,'MinLeafSize',40);
view(OptimalTree,'mode','graph')

resubOpt = resubLoss(OptimalTree);
lossOpt = kfoldLoss(crossval(OptimalTree));
resubDefault = resubLoss(DefaultTree);
lossDefault = kfoldLoss(crossval(DefaultTree));
resubOpt,resubDefault,lossOpt,lossDefault

resubOpt = 0.0883

resubDefault = 0.0114

lossOpt = 0.1054

lossDefault = 0.1111

Сокращение

Сокращение оптимизирует древовидную глубину (густая листва) путем слияния листов на том же древовидном ответвлении. Управляйте Глубиной, или “Густая листва” описывает один метод для выбора оптимальной глубины для дерева. В отличие от этого, в том разделе, вы не должны выращивать новое дерево для каждого размера узла. Вместо этого вырастите глубокое дерево и сократите его к уровню, который вы выбираете.

Сократите дерево в командной строке с помощью метода prune (классификация) или метод prune (регрессия). Также сократите дерево в интерактивном режиме с древовидным средством просмотра:

view(tree,'mode','graph')

Чтобы сократить дерево, дерево должно содержать последовательность сокращения. По умолчанию и fitctree и fitrtree вычисляют последовательность сокращения для дерева во время конструкции. Если вы создаете дерево с набором пары "имя-значение" 'Prune' к 'off', или если вы сокращаете дерево к меньшему уровню, дерево не содержит полную последовательность сокращения. Сгенерируйте полную последовательность сокращения с методом prune (классификация) или метод prune (регрессия).

load ionosphere

tree = fitctree(X,Y);

view(tree,'Mode','Graph')

[~,~,~,bestlevel] = cvLoss(tree,...
    'SubTrees','All','TreeSize','min')

bestlevel = 6

view(tree,'Mode','Graph','Prune',6)

[~,~,~,bestlevel] = cvLoss(tree,'SubTrees','All')

bestlevel = 6

tree = prune(tree,'Level',6); 
view(tree,'Mode','Graph')