templateTree
Создайте шаблон дерева решений
Описание
t = templateTreet как ученик, использующий:
fitcensembleдля ансамблей классификацииfitrensembleдля ансамблей регрессииfitcecocдля классификации моделей ECOC
Если вы задаете шаблон дерева решений по умолчанию, то программное обеспечение использует значения по умолчанию во всех входных параметрах во время обучения. Это - хорошая практика, чтобы задать тип дерева решений, например, для шаблона дерева классификации, задать 'Type','classification'. Если вы задаете тип дерева решений и отображаете t в Командном окне, затем все опции кроме Type кажитесь пустыми ([]).
t = templateTree(Name,Value)
Например, можно указать, что алгоритм раньше находил лучшее разделение на категориальном предикторе, критерии разделения или количестве предикторов выбранным для каждого разделения.
Если вы отображаете t в Командном окне затем все опции кажутся пустыми ([]), кроме тех, которые вы задаете аргументы пары "имя-значение" использования. Во время обучения программное обеспечение использует значения по умолчанию в пустых опциях.
Примеры
Создайте шаблон классификации с суррогатными разделениями
Создайте шаблон дерева решений с суррогатными разделениями и используйте шаблон, чтобы обучить ансамбль, использующий выборочные данные.
Загрузите ирисовый набор данных Фишера.
load fisheririsСоздайте шаблон дерева решений пней с суррогатными разделениями.
t = templateTree('Surrogate','on','MaxNumSplits',1)
t =
Fit template for Tree.
Surrogate: 'on'
MaxNumSplits: 1
Опции для объекта шаблона пусты за исключением Surrogate и MaxNumSplits. Когда вы передаете t к учебной функции программное обеспечение заполняет пустые опции с их соответствующими значениями по умолчанию.
Задайте t как слабый ученик для ансамбля классификации.
Mdl = fitcensemble(meas,species,'Method','AdaBoostM2','Learners',t)
Mdl =
classreg.learning.classif.ClassificationEnsemble
ResponseName: 'Y'
CategoricalPredictors: []
ClassNames: {'setosa' 'versicolor' 'virginica'}
ScoreTransform: 'none'
NumObservations: 150
NumTrained: 100
Method: 'AdaBoostM2'
LearnerNames: {'Tree'}
ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
FitInfo: [100x1 double]
FitInfoDescription: {2x1 cell}
Properties, Methods
Отобразите в выборке (перезамена) misclassification ошибка.
L = resubLoss(Mdl)
L = 0.0333
Оптимизируйте ансамбль регрессии Используя перекрестную проверку
Один способ создать ансамбль повышенных деревьев регрессии, который имеет удовлетворительную прогнозирующую производительность, состоит в том, чтобы настроить уровень сложности дерева решений с помощью перекрестной проверки. При поиске оптимального уровня сложности настройте темп обучения, чтобы минимизировать количество изучения циклов также.
Этот пример вручную находит оптимальные параметры при помощи опции перекрестной проверки ('KFold' аргумент пары "имя-значение") и kfoldLoss функция. В качестве альтернативы можно использовать 'OptimizeHyperparameters' аргумент пары "имя-значение", чтобы оптимизировать гиперпараметры автоматически. Смотрите Оптимизируют Ансамбль Регрессии.
Загрузите carsmall набор данных. Выберите количество цилиндров, объем, перемещенный цилиндрами, лошадиной силой и весом как предикторы экономии топлива.
load carsmall
Tbl = table(Cylinders,Displacement,Horsepower,Weight,MPG);Значения по умолчанию древовидных контроллеров глубины для повышения деревьев регрессии:
10
дляMaxNumSplits.5
дляMinLeafSize10
дляMinParentSize
Искать оптимальный уровень древовидной сложности:
Перекрестный подтвердите набор ансамблей. Экспоненциально увеличьте уровень древовидной сложности для последующих ансамблей от пня решения (одно разделение) к в большей части n - 1 разделение. n является объемом выборки. Кроме того, варьируйтесь темп обучения для каждого ансамбля между 0,1 к 1.
Оцените перекрестную подтвержденную среднеквадратическую ошибку (MSE) для каждого ансамбля.
Для уровня древовидной сложности , , сравните совокупный, перекрестный подтвержденный MSE ансамблей путем графического вывода их против количества изучения циклов. Постройте отдельные кривые для каждого темпа обучения на той же фигуре.
Выберите кривую, которая достигает минимального MSE, и отметьте соответствующий цикл изучения и темп обучения.
Перекрестный подтвердите глубокое дерево регрессии и пень. Поскольку данные содержат отсутствующие значения, используйте суррогатные разделения. Эти деревья регрессии служат сравнительными тестами.
rng(1) % For reproducibility MdlDeep = fitrtree(Tbl,'MPG','CrossVal','on','MergeLeaves','off', ... 'MinParentSize',1,'Surrogate','on'); MdlStump = fitrtree(Tbl,'MPG','MaxNumSplits',1,'CrossVal','on', ... 'Surrogate','on');
Перекрестный подтвердите ансамбль 150 повышенных деревьев регрессии с помощью 5-кратной перекрестной проверки. Используя древовидный шаблон:
Варьируйтесь максимальное количество разделений с помощью значений в последовательности . m таков что не больше, чем n - 1.
Включите суррогатные разделения.
Для каждого варианта настройте темп обучения с помощью каждого значения в наборе {0.1, 0.25, 0.5, 1}.
n = size(Tbl,1); m = floor(log2(n - 1)); learnRate = [0.1 0.25 0.5 1]; numLR = numel(learnRate); maxNumSplits = 2.^(0:m); numMNS = numel(maxNumSplits); numTrees = 150; Mdl = cell(numMNS,numLR); for k = 1:numLR for j = 1:numMNS t = templateTree('MaxNumSplits',maxNumSplits(j),'Surrogate','on'); Mdl{j,k} = fitrensemble(Tbl,'MPG','NumLearningCycles',numTrees, ... 'Learners',t,'KFold',5,'LearnRate',learnRate(k)); end end
Оцените совокупный, перекрестный подтвержденный MSE каждого ансамбля.
kflAll = @(x)kfoldLoss(x,'Mode','cumulative'); errorCell = cellfun(kflAll,Mdl,'Uniform',false); error = reshape(cell2mat(errorCell),[numTrees numel(maxNumSplits) numel(learnRate)]); errorDeep = kfoldLoss(MdlDeep); errorStump = kfoldLoss(MdlStump);
Постройте, как перекрестный подтвержденный MSE ведет себя как количество деревьев в увеличениях ансамбля. Постройте кривые относительно темпа обучения на том же графике и постройте отдельные графики для различных уровней древовидной сложности. Выберите подмножество древовидных уровней сложности, чтобы построить.
mnsPlot = [1 round(numel(maxNumSplits)/2) numel(maxNumSplits)]; figure; for k = 1:3 subplot(2,2,k) plot(squeeze(error(:,mnsPlot(k),:)),'LineWidth',2) axis tight hold on h = gca; plot(h.XLim,[errorDeep errorDeep],'-.b','LineWidth',2) plot(h.XLim,[errorStump errorStump],'-.r','LineWidth',2) plot(h.XLim,min(min(error(:,mnsPlot(k),:))).*[1 1],'--k') h.YLim = [10 50]; xlabel('Number of trees') ylabel('Cross-validated MSE') title(sprintf('MaxNumSplits = %0.3g', maxNumSplits(mnsPlot(k)))) hold off end hL = legend([cellstr(num2str(learnRate','Learning Rate = %0.2f')); ... 'Deep Tree';'Stump';'Min. MSE']); hL.Position(1) = 0.6;
Каждая кривая содержит минимум перекрестный подтвержденный MSE, происходящий в оптимальном количестве деревьев в ансамбле.
Идентифицируйте максимальное количество разделений, количество деревьев и темп обучения, который дает к самому низкому MSE в целом.
[minErr,minErrIdxLin] = min(error(:));
[idxNumTrees,idxMNS,idxLR] = ind2sub(size(error),minErrIdxLin);
fprintf('\nMin. MSE = %0.5f',minErr)Min. MSE = 17.00516
fprintf('\nOptimal Parameter Values:\nNum. Trees = %d',idxNumTrees);Optimal Parameter Values: Num. Trees = 38
fprintf('\nMaxNumSplits = %d\nLearning Rate = %0.2f\n',... maxNumSplits(idxMNS),learnRate(idxLR))
MaxNumSplits = 4 Learning Rate = 0.10
Создайте прогнозирующий ансамбль на основе оптимальных гиперпараметров и целого набора обучающих данных.
tFinal = templateTree('MaxNumSplits',maxNumSplits(idxMNS),'Surrogate','on'); MdlFinal = fitrensemble(Tbl,'MPG','NumLearningCycles',idxNumTrees, ... 'Learners',tFinal,'LearnRate',learnRate(idxLR))
MdlFinal =
classreg.learning.regr.RegressionEnsemble
PredictorNames: {'Cylinders' 'Displacement' 'Horsepower' 'Weight'}
ResponseName: 'MPG'
CategoricalPredictors: []
ResponseTransform: 'none'
NumObservations: 94
NumTrained: 38
Method: 'LSBoost'
LearnerNames: {'Tree'}
ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
FitInfo: [38×1 double]
FitInfoDescription: {2×1 cell}
Regularization: []
Properties, Methods
MdlFinal RegressionEnsemble. Чтобы предсказать экономию топлива автомобиля, учитывая его количество цилиндров, объем, перемещенный цилиндрами, лошадиной силой и весом, можно передать данные о предикторе и MdlFinal к predict.
Вместо того, чтобы искать оптимальные значения вручную при помощи опции перекрестной проверки ('KFold') и kfoldLoss функция, можно использовать 'OptimizeHyperparameters' аргумент пары "имя-значение". Когда вы задаете 'OptimizeHyperparameters', программное обеспечение находит оптимальные параметры автоматически с помощью Байесовой оптимизации. Оптимальные значения получены при помощи 'OptimizeHyperparameters' может отличаться от тех полученный поиск руководства использования.
t = templateTree('Surrogate','on'); mdl = fitrensemble(Tbl,'MPG','Learners',t, ... 'OptimizeHyperparameters',{'NumLearningCycles','LearnRate','MaxNumSplits'})
|====================================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | NumLearningC-| LearnRate | MaxNumSplits |
| | result | log(1+loss) | runtime | (observed) | (estim.) | ycles | | |
|====================================================================================================================|
| 1 | Best | 3.3985 | 0.64049 | 3.3985 | 3.3985 | 26 | 0.072054 | 3 |
| 2 | Accept | 6.0976 | 4.2888 | 3.3985 | 3.5578 | 170 | 0.0010295 | 70 |
| 3 | Best | 3.2868 | 6.5078 | 3.2868 | 3.287 | 273 | 0.61026 | 6 |
| 4 | Accept | 6.1839 | 1.8448 | 3.2868 | 3.2868 | 80 | 0.0016871 | 1 |
| 5 | Best | 3.1931 | 0.29631 | 3.1931 | 3.1928 | 10 | 0.21453 | 1 |
| 6 | Best | 2.9415 | 0.28328 | 2.9415 | 3.0916 | 10 | 0.30877 | 2 |
| 7 | Accept | 3.0264 | 0.28242 | 2.9415 | 2.9444 | 10 | 0.24753 | 2 |
| 8 | Accept | 3.1258 | 0.32071 | 2.9415 | 3.0441 | 10 | 0.81536 | 99 |
| 9 | Accept | 2.9553 | 0.31485 | 2.9415 | 2.9592 | 10 | 0.36957 | 7 |
| 10 | Best | 2.9289 | 0.28006 | 2.9289 | 2.9384 | 10 | 0.43084 | 1 |
| 11 | Accept | 2.9596 | 0.32254 | 2.9289 | 2.9395 | 10 | 0.42675 | 2 |
| 12 | Best | 2.9043 | 0.2823 | 2.9043 | 2.9295 | 10 | 0.39082 | 1 |
| 13 | Accept | 5.9804 | 0.27544 | 2.9043 | 2.9124 | 10 | 0.023911 | 1 |
| 14 | Accept | 3.0912 | 0.27686 | 2.9043 | 2.9186 | 10 | 0.99207 | 1 |
| 15 | Best | 2.8957 | 0.30037 | 2.8957 | 2.9 | 10 | 0.34653 | 1 |
| 16 | Accept | 2.8968 | 0.31255 | 2.8957 | 2.8978 | 11 | 0.35663 | 1 |
| 17 | Best | 2.8939 | 0.66329 | 2.8939 | 2.8966 | 28 | 0.33763 | 1 |
| 18 | Best | 2.8899 | 0.32061 | 2.8899 | 2.8947 | 11 | 0.34921 | 1 |
| 19 | Best | 2.8865 | 0.5951 | 2.8865 | 2.8939 | 25 | 0.35178 | 1 |
| 20 | Accept | 4.2362 | 0.3337 | 2.8865 | 2.8921 | 11 | 0.10376 | 74 |
|====================================================================================================================|
| Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | NumLearningC-| LearnRate | MaxNumSplits |
| | result | log(1+loss) | runtime | (observed) | (estim.) | ycles | | |
|====================================================================================================================|
| 21 | Accept | 5.4462 | 0.27971 | 2.8865 | 2.8906 | 10 | 0.051581 | 1 |
| 22 | Accept | 2.921 | 1.5744 | 2.8865 | 2.8907 | 66 | 0.11167 | 1 |
| 23 | Accept | 2.9173 | 0.69377 | 2.8865 | 2.8911 | 29 | 0.18208 | 1 |
| 24 | Accept | 3.0436 | 0.74312 | 2.8865 | 2.8911 | 31 | 0.99932 | 1 |
| 25 | Accept | 2.9339 | 0.43096 | 2.8865 | 2.8952 | 17 | 0.3015 | 1 |
| 26 | Accept | 2.888 | 1.3685 | 2.8865 | 2.8955 | 61 | 0.35991 | 1 |
| 27 | Accept | 2.9265 | 1.0567 | 2.8865 | 2.8964 | 46 | 0.16738 | 1 |
| 28 | Accept | 2.9456 | 0.9888 | 2.8865 | 2.8967 | 42 | 0.53842 | 1 |
| 29 | Accept | 2.9436 | 1.5579 | 2.8865 | 2.8887 | 69 | 0.053645 | 1 |
| 30 | Accept | 2.9237 | 3.352 | 2.8865 | 2.8885 | 146 | 0.067582 | 1 |
__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 64.0743 seconds.
Total objective function evaluation time: 30.7882
Best observed feasible point:
NumLearningCycles LearnRate MaxNumSplits
_________________ _________ ____________
25 0.35178 1
Observed objective function value = 2.8865
Estimated objective function value = 2.8885
Function evaluation time = 0.5951
Best estimated feasible point (according to models):
NumLearningCycles LearnRate MaxNumSplits
_________________ _________ ____________
28 0.33763 1
Estimated objective function value = 2.8885
Estimated function evaluation time = 0.67023
mdl =
classreg.learning.regr.RegressionEnsemble
PredictorNames: {'Cylinders' 'Displacement' 'Horsepower' 'Weight'}
ResponseName: 'MPG'
CategoricalPredictors: []
ResponseTransform: 'none'
NumObservations: 94
HyperparameterOptimizationResults: [1×1 BayesianOptimization]
NumTrained: 28
Method: 'LSBoost'
LearnerNames: {'Tree'}
ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
FitInfo: [28×1 double]
FitInfoDescription: {2×1 cell}
Regularization: []
Properties, Methods
Объективные оценки важности предиктора Используя параллельные вычисления
Загрузите carsmall набор данных. Рассмотрите модель, которая предсказывает среднюю экономию топлива автомобиля, учитывая его ускорение, количество цилиндров, объема двигателя, лошадиной силы, производителя, модельный год и вес. Рассмотрите Cylinders, Mfg, и Model_Year как категориальные переменные.
load carsmall Cylinders = categorical(Cylinders); Mfg = categorical(cellstr(Mfg)); Model_Year = categorical(Model_Year); X = table(Acceleration,Cylinders,Displacement,Horsepower,Mfg,... Model_Year,Weight,MPG);
Отобразите количество категорий, представленных в категориальных переменных.
numCylinders = numel(categories(Cylinders))
numCylinders = 3
numMfg = numel(categories(Mfg))
numMfg = 28
numModelYear = numel(categories(Model_Year))
numModelYear = 3
Поскольку существует 3 категории только в Cylinders и Model_Year, стандартный CART, разделяющий предиктор алгоритм предпочитает разделять непрерывный предиктор по этим двум переменным.
Обучите случайный лес 500 деревьев регрессии с помощью целого набора данных. Чтобы вырастить несмещенные деревья, задайте использование теста искривления для разделения предикторов. Поскольку существуют отсутствующие значения в данных, задают использование суррогатных разделений. Чтобы воспроизвести случайные выборы предиктора, установите seed генератора случайных чисел при помощи rng и задайте 'Reproducible',true.
rng('default'); % For reproducibility t = templateTree('PredictorSelection','curvature','Surrogate','on', ... 'Reproducible',true); % For reproducibility of random predictor selections Mdl = fitrensemble(X,'MPG','Method','bag','NumLearningCycles',500, ... 'Learners',t);
Оцените меры по важности предиктора путем перестановки наблюдений из сумки. Выполните вычисления параллельно.
options = statset('UseParallel',true); imp = oobPermutedPredictorImportance(Mdl,'Options',options);
Starting parallel pool (parpool) using the 'local' profile ... Connected to the parallel pool (number of workers: 6).
Сравните оценки с помощью столбчатого графика.
figure; bar(imp); title('Out-of-Bag Permuted Predictor Importance Estimates'); ylabel('Estimates'); xlabel('Predictors'); h = gca; h.XTickLabel = Mdl.PredictorNames; h.XTickLabelRotation = 45; h.TickLabelInterpreter = 'none';
В этом случае, Model_Year самый важный предиктор, сопровождаемый Cylinders. Сравните эти результаты с результатами в Оценочной Важности Предикторов.
Создайте шаблон ансамбля для изучения мультикласса ECOC
Создайте шаблон ансамбля для использования в fitcecoc.
Загрузите набор данных аритмии.
load arrhythmia
tabulate(categorical(Y)); Value Count Percent
1 245 54.20%
2 44 9.73%
3 15 3.32%
4 15 3.32%
5 13 2.88%
6 25 5.53%
7 3 0.66%
8 2 0.44%
9 9 1.99%
10 50 11.06%
14 4 0.88%
15 5 1.11%
16 22 4.87%
rng(1); % For reproducibilityНекоторые классы имеют маленькие относительные частоты в данных.
Создайте шаблон для ансамбля AdaBoostM1 деревьев классификации и задайте, чтобы использовать 100 учеников и уменьшение 0,1. По умолчанию повышение выращивает пни (т.е. один узел, имеющий набор листов). С тех пор существуют классы с маленькими частотами, деревья должны быть достаточно покрытыми листвой, чтобы быть чувствительными к классам меньшинства. Задайте минимальное количество наблюдений вершины к 3.
tTree = templateTree('MinLeafSize',20); t = templateEnsemble('AdaBoostM1',100,tTree,'LearnRate',0.1);
Все свойства объектов шаблона пусты за исключением Method и Type, и соответствующие свойства значений аргумента пары "имя-значение" в вызовах функции. Когда вы передаете t к учебной функции программное обеспечение заполняет пустые свойства с их соответствующими значениями по умолчанию.
Задайте t как бинарный ученик для модели мультикласса ECOC. Обучите использование значения по умолчанию, один по сравнению с одним кодирующего проект.
Mdl = fitcecoc(X,Y,'Learners',t);MdlClassificationECOCмодель мультикласса.Mdl.BinaryLearners78 1 массив ячеекCompactClassificationEnsembleмодели.Mdl.BinaryLearners{j}.Trained100 1 массив ячеекCompactClassificationTreeмодели, дляj= 1,...,78.
Можно проверить, что один из бинарных учеников содержит слабого ученика, который не является пнем при помощи view.
view(Mdl.BinaryLearners{1}.Trained{1},'Mode','graph')
Отобразите в выборке (перезамена) misclassification ошибка.
L = resubLoss(Mdl,'LossFun','classiferror')
L = 0.0575
Входные параметры
Выходные аргументы
Алгоритмы
Размещать
MaxNumSplits, программное обеспечение разделяет все узлы в текущем layer, и затем считает количество узлов ветви. Слой является набором узлов, которые являются равноотстоящими от корневого узла. Если количество узлов ветви превышаетMaxNumSplits, затем программное обеспечение выполняет эту процедуру.Определите, сколько узлов ветви в текущем слое должно быть не разделено так, чтобы было бы в большей части
MaxNumSplitsузлы ветви.Сортировка узлов ветви их примесными усилениями.
Неразделенный желаемое количество наименее успешных ветвей.
Возвратите дерево решений, выращенное до сих пор.
Эта процедура стремится производить максимально сбалансированные деревья.
Слой узлов ветви разделений программного обеспечения слоем до по крайней мере одного из этих событий происходит.
Существует
MaxNumSplits+ 1 узел ветви.Предложенное разделение заставляет количество наблюдений по крайней мере в одном узле ветви быть меньше, чем
MinParentSize.Предложенное разделение заставляет количество наблюдений по крайней мере в одной вершине быть меньше, чем
MinLeafSize.Алгоритм не может найти хорошее разделение на слое (т.е. критерий сокращения (см.
PruneCriterion), не улучшается для всех предложенных разделений в слое). Особый случай этого события - когда все узлы чисты (т.е. все наблюдения в узле имеют тот же класс).Для значений
'curvature'или'interaction-curvature'изPredictorSelection, все тесты дают к p - значения, больше, чем 0,05.
MaxNumSplitsиMinLeafSizeне влияйте на разделение в их значениях по умолчанию. Поэтому, если вы устанавливаете'MaxNumSplits', затем разделение может остановиться из-за значенияMinParentSizeпередMaxNumSplitsразделения происходят.Для получения дополнительной информации при выборе предикторов разделения и алгоритмов расщепления узлов при росте деревьев решений, см. Алгоритмы для деревьев классификации и Алгоритмы для деревьев регрессии.
Ссылки
[1] Бреимен, L., Дж. Фридман, Р. Олшен и К. Стоун. Классификация и деревья регрессии. Бока-Ратон, FL: нажатие CRC, 1984.
[2] Котельщик, Д., С. Цз. Хун и Дж. Р. М. Хоскинг. “Деля Номинальные Атрибуты в Деревьях решений”. Анализ данных и Открытие Знаний, Издание 3, 1999, стр 197–217.
[3] Loh, W.Y. “Деревья регрессии с Несмещенным Обнаружением Выбора переменной и Взаимодействия”. Statistica Sinica, Издание 12, 2002, стр 361–386.
[4] Loh, В.И. и И.С. Ши. “Разделите Методы выбора для Деревьев Классификации”. Statistica Sinica, Издание 7, 1997, стр 815–840.
Смотрите также
ClassificationTree | RegressionTree | fitcecoc | fitcensemble | fitctree | fitrensemble | templateEnsemble