Документация

Проверка ошибки повторного предоставления

Ошибка повторного замещения представляет собой разницу между данными обучения ответу и прогнозами, которые дерево делает для ответа на основании входных данных обучения. Если ошибка повторного замещения высока, нельзя ожидать, что предсказания дерева будут хорошими. Однако наличие низкой ошибки повторного замещения не гарантирует хороших прогнозов для новых данных. Ошибка повторного замещения часто является чрезмерно оптимистичной оценкой предиктивной ошибки для новых данных.

load fisheriris

Mdl = fitctree(meas,species);

resuberror = resubLoss(Mdl)

resuberror = 0.0200

Перекрестная проверка

Чтобы получить лучшее представление о точности прогнозирования дерева для новых данных, выполните перекрестную проверку дерева. По умолчанию перекрестная проверка разбивает данные обучения на 10 части случайным образом. Он обучает 10 новых деревьев, каждое по девяти частям данных. Затем он изучает точность прогнозирования каждого нового дерева на данных, не включенных в обучение этого дерева. Этот метод дает хорошую оценку точности прогнозирования результирующего дерева, поскольку он тестирует новые деревья на новых данных.

load carsmall
X = [Acceleration Displacement Horsepower Weight];

rtree = fitrtree(X,MPG);

resuberror = resubLoss(rtree)

resuberror = 4.7188

rng 'default';
cvrtree = crossval(rtree);
cvloss = kfoldLoss(cvrtree)

cvloss = 23.5706

Выбор метода выбора разделенного предиктора

Стандартный алгоритм CART имеет тенденцию выбирать непрерывные предикторы, которые имеют много уровней. Иногда такой выбор может быть ложным и может также маскировать более важные предикторы, которые имеют меньше уровней, такие как категориальные предикторы. То есть процесс выбора предиктора в каждом узле смещен. Кроме того, стандартная CART имеет тенденцию пропускать важные взаимодействия между парами предикторов и ответом.

Чтобы уменьшить смещение выбора и увеличить обнаружение важных взаимодействий, можно указать использование тестов кривизны или взаимодействий с помощью 'PredictorSelection' аргумент пары имя-значение. Использование теста кривизны или взаимодействия имеет дополнительное преимущество в получении лучших оценок важности предиктора, чем стандартная CART.

Эта таблица суммирует поддерживаемые методы выбора предиктора.

Для получения дополнительной информации о методах выбора предиктора:

Глубина контроля или «листовитость»

Когда вы выращиваете дерево решений, учитывайте его простоту и прогностическую силу. Глубокое дерево с множеством листьев, как правило, очень точно на тренировочных данных. Однако дерево не гарантированно покажет сопоставимую точность на независимом тестовом наборе. Листовое дерево имеет тенденцию перетренироваться (или переоснащаться), и его точность тестирования часто намного меньше, чем точность обучения (повторного замещения). Напротив, мелкое дерево не достигает высокой точности тренировки. Но мелкое дерево может быть более надежным - его точность обучения может быть близка к точности репрезентативного тестового набора. Также неглубокое дерево легко интерпретировать. Если у вас недостаточно данных для обучения и тестирования, оцените точность дерева путем перекрестной проверки.

fitctree и fitrtree имеют три аргумента пары имя-значение, которые управляют глубиной результирующих деревьев решений:

При указании MinParentSize и MinLeafSizeученик использует настройку, которая дает деревья с более крупными листьями (то есть более мелкими деревьями):

Если вы поставляете MaxNumSplits, программное обеспечение разбивает дерево до тех пор, пока не будет удовлетворен один из трех критериев разделения.

Альтернативный метод управления глубиной дерева см. в разделе Обрезка.

load ionosphere

leafs = logspace(1,2,10);

rng('default')
N = numel(leafs);
err = zeros(N,1);
for n=1:N
    t = fitctree(X,Y,'CrossVal','On',...
        'MinLeafSize',leafs(n));
    err(n) = kfoldLoss(t);
end
plot(leafs,err);
xlabel('Min Leaf Size');
ylabel('cross-validated error');

DefaultTree = fitctree(X,Y);
view(DefaultTree,'Mode','Graph')

OptimalTree = fitctree(X,Y,'MinLeafSize',40);
view(OptimalTree,'mode','graph')

resubOpt = resubLoss(OptimalTree);
lossOpt = kfoldLoss(crossval(OptimalTree));
resubDefault = resubLoss(DefaultTree);
lossDefault = kfoldLoss(crossval(DefaultTree));
resubOpt,resubDefault,lossOpt,lossDefault

resubOpt = 0.0883

resubDefault = 0.0114

lossOpt = 0.1054

lossDefault = 0.1054

Сокращение

Обрезка оптимизирует глубину дерева (листовитость) путём слияния листьев на той же ветви дерева. Параметр «Контролировать глубину» (Control Depth) или «Листовитость» (Leafety) описывает один из методов выбора оптимальной глубины для дерева. В отличие от этого раздела, вам не нужно создавать новое дерево для каждого размера узла. Вместо этого вырастите глубокое дерево и срежьте его до выбранного уровня.

Удаление дерева в командной строке с помощью команды prune метод (классификация) или prune метод (регрессия). В качестве альтернативы срежьте дерево в интерактивном режиме с помощью средства просмотра дерева:

view(tree,'mode','graph')

Для обрезки дерева оно должно содержать последовательность обрезки. По умолчанию оба fitctree и fitrtree вычислить последовательность обрезки для дерева во время построения. При построении дерева с помощью 'Prune' пара имя-значение установлена в 'off'или если обрезать дерево до меньшего уровня, дерево не будет содержать полную последовательность обрезки. Создайте полную последовательность обрезки с помощью prune метод (классификация) или prune метод (регрессия).

load ionosphere

tree = fitctree(X,Y);

view(tree,'Mode','Graph')

[~,~,~,bestlevel] = cvLoss(tree,...
    'SubTrees','All','TreeSize','min')

bestlevel = 6

view(tree,'Mode','Graph','Prune',6)

[~,~,~,bestlevel] = cvLoss(tree,'SubTrees','All')

bestlevel = 6

tree = prune(tree,'Level',6); 
view(tree,'Mode','Graph')