Подходящий ансамбль учеников для классификации и регрессии
fitensemble может повысить или ученики дерева решений сумки или классификаторы дискриминантного анализа. Функция может также обучить случайные ансамбли подпространства классификаторов дискриминантного анализа или KNN.
Для более простые интерфейсы, которые соответствуют классификации и ансамблям регрессии, вместо этого используйте fitcensemble и fitrensemble, соответственно. Кроме того, fitcensemble и fitrensemble предоставляют возможности для Байесовой оптимизации.
Mdl = fitensemble(Tbl,ResponseVarName,Method,NLearn,Learners)Mdl = fitensemble(Tbl,formula,Method,NLearn,Learners)Mdl = fitensemble(Tbl,Y,Method,NLearn,Learners)Mdl = fitensemble(X,Y,Method,NLearn,Learners)Mdl = fitensemble(___,Name,Value)Mdl = fitensemble(Tbl,ResponseVarName,Method,NLearn,Learners)NLearn или учеников регрессии (Learners) ко всем переменным в таблице Tbl. ResponseVarName является именем переменной отклика в Tbl. Method является методом агрегации ансамбля.
Mdl = fitensemble(___,Name,Value)Name,Value и любым из предыдущих синтаксисов. Например, можно задать порядок класса, чтобы реализовать 10-кратную перекрестную проверку или темп обучения.
Оцените утрату перезамены обученного, повышающего ансамбля классификации деревьев решений.
Загрузите набор данных ionosphere.
load ionosphere;Обучите использование ансамбля дерева решений AdaBoost, 100 циклов изучения и целый набор данных.
ClassTreeEns = fitensemble(X,Y,'AdaBoostM1',100,'Tree');
ClassTreeEns является обученным классификатором ансамбля ClassificationEnsemble.
Определите совокупные потери перезамены (т.е. совокупную misclassification ошибку меток в данных тренировки).
rsLoss = resubLoss(ClassTreeEns,'Mode','Cumulative');
rsLoss 100 1 вектор, где элемент k содержит потерю перезамены после первого k изучение циклов.
Постройте совокупную потерю перезамены по количеству изучения циклов.
plot(rsLoss); xlabel('Number of Learning Cycles'); ylabel('Resubstitution Loss');
В целом, когда количество деревьев решений в обученном ансамбле классификации увеличивается, уменьшения перезамены потерь.
Уменьшение в потере перезамены может указать, что программное обеспечение обучило ансамбль разумно. Однако вы не можете вывести предсказательную силу ансамбля этим уменьшением. Чтобы измерить предсказательную силу ансамбля, оцените ошибку обобщения:
Случайным образом деля данные в наборы обучения и перекрестной проверки. Сделайте это путем определения 'holdout',holdoutProportion, когда вы обучите ансамбль, использующий fitensemble.
Передача обученного ансамбля к kfoldLoss, который оценивает ошибку обобщения.
Используйте обученный, повышенный ансамбль дерева регрессии, чтобы предсказать экономию топлива автомобиля. Выберите количество цилиндров, объем, перемещенный цилиндрами, лошадиной силой и весом как предикторы. Затем обучите ансамбль, использующий меньше предикторов, и сравните его прогнозирующую точность в выборке с первым ансамблем.
Загрузите набор данных carsmall. Храните данные тренировки в таблице.
load carsmall
Tbl = table(Cylinders,Displacement,Horsepower,Weight,MPG);Задайте шаблон дерева регрессии, который использует суррогатные разделения, чтобы улучшить прогнозирующую точность в присутствии значений NaN.
t = templateTree('Surrogate','On');
Обучите ансамбль дерева регрессии, использующий LSBoost и 100 циклов изучения.
Mdl1 = fitensemble(Tbl,'MPG','LSBoost',100,t);
Mdl1 является обученным ансамблем регрессии RegressionEnsemble. Поскольку MPG является переменной в MATLAB® Workspace, можно получить тот же результат путем ввода
Mdl1 = fitensemble(Tbl,MPG,'LSBoost',100,t);
Используйте обученный ансамбль регрессии, чтобы предсказать экономию топлива для автомобиля с четырьмя цилиндрами с 200-кубическим смещением дюйма, 150 лошадиных сил и весящие 3 000 фунтов.
predMPG = predict(Mdl1,[4 200 150 3000])
predMPG = 22.8462
Средняя экономия топлива автомобиля с этими спецификациями составляет 21,78 мили на галлон.
Обучите новый ансамбль, использующий все предикторы в Tbl кроме Displacement.
formula = 'MPG ~ Cylinders + Horsepower + Weight'; Mdl2 = fitensemble(Tbl,formula,'LSBoost',100,t);
Сравните перезамену MSEs между Mdl1 и Mdl2.
mse1 = resubLoss(Mdl1)
mse1 = 6.4721
mse2 = resubLoss(Mdl2)
mse2 = 7.8599
MSE в выборке для ансамбля, который обучается на всех предикторах, ниже.
Оцените ошибку обобщения обученного, повышающего ансамбля классификации деревьев решений.
Загрузите набор данных ionosphere.
load ionosphere;Обучите ансамбль дерева решений, использующий AdaBoostM1, 100 циклов изучения и половину данных, выбранных случайным образом. Программное обеспечение подтверждает алгоритм с помощью остающейся половины.
rng(2); % For reproducibility ClassTreeEns = fitensemble(X,Y,'AdaBoostM1',100,'Tree',... 'Holdout',0.5);
ClassTreeEns является обученным классификатором ансамбля ClassificationEnsemble.
Определите совокупную ошибку обобщения, т.е. совокупную misclassification ошибку меток в данных о валидации).
genError = kfoldLoss(ClassTreeEns,'Mode','Cumulative');
genError 100 1 вектор, где элемент k содержит ошибку обобщения после первого k изучение циклов.
Постройте ошибку обобщения по количеству изучения циклов.
plot(genError); xlabel('Number of Learning Cycles'); ylabel('Generalization Error');
Совокупная ошибка обобщения уменьшается приблизительно к 7%, когда 25 слабых учеников составляют классификатор ансамбля.
Можно управлять глубиной деревьев в ансамбле деревьев решений. Можно также управлять древовидной глубиной в модели ECOC, содержащей двоичных учеников дерева решений, использующих MaxNumSplits, MinLeafSize или параметры пары "имя-значение" MinParentSize.
При укладывании в мешки деревьев решений fitensemble выращивает глубокие деревья решений по умолчанию. Можно вырастить более мелкие деревья, чтобы уменьшать сложность модели или время вычисления.
При повышении деревьев решений fitensemble выращивает пни (дерево с одним разделением) по умолчанию. Можно вырастить более глубокие деревья для лучшей точности.
Загрузите набор данных carsmall. Задайте переменные Acceleration, Displacement, Horsepower и Weight как предикторы и MPG как ответ.
load carsmall
X = [Acceleration Displacement Horsepower Weight];
Y = MPG;Значения по умолчанию древовидных контроллеров глубины для повышения деревьев регрессии:
1 для MaxNumSplits. Эта опция выращивает пни.
5 для MinLeafSize
10 для MinParentSize
Искать оптимальное количество разделений:
Обучите набор ансамблей. Экспоненциально увеличьте максимальное число разделений для последующих ансамблей от пня до в большей части n - 1 разделение, где n является учебным объемом выборки. Кроме того, уменьшите темп обучения для каждого ансамбля с 1 до 0,1.
Крест подтверждает ансамбли.
Оцените перекрестную подтвержденную среднеквадратическую ошибку (MSE) для каждого ансамбля.
Сравните перекрестный подтвержденный MSEs. Ансамбль с самым низким выполняет лучшее, и указывает на оптимальное максимальное количество разделений, количество деревьев и темп обучения для набора данных.
Вырастите и крест подтверждают глубокое дерево регрессии и пень. Задайте, чтобы использовать суррогатные разделения, потому что данные содержат отсутствующие значения. Они служат сравнительными тестами.
MdlDeep = fitrtree(X,Y,'CrossVal','on','MergeLeaves','off',... 'MinParentSize',1,'Surrogate','on'); MdlStump = fitrtree(X,Y,'MaxNumSplits',1,'CrossVal','on','Surrogate','on');
Обучите повышающие ансамбли, использующие 150 деревьев регрессии. Крест подтверждает ансамбль, использующий 5-кратную перекрестную проверку. Отличайтесь максимальное количество разделений с помощью значений в последовательности , где m таков что не больше, чем n - 1, где n является учебным объемом выборки. Для каждого варианта настройте темп обучения к каждому значению в наборе {0.1, 0.25, 0.5, 1};
n = size(X,1); m = floor(log2(n - 1)); lr = [0.1 0.25 0.5 1]; maxNumSplits = 2.^(0:m); numTrees = 150; Mdl = cell(numel(maxNumSplits),numel(lr)); rng(1); % For reproducibility for k = 1:numel(lr); for j = 1:numel(maxNumSplits); t = templateTree('MaxNumSplits',maxNumSplits(j),'Surrogate','on'); Mdl{j,k} = fitensemble(X,Y,'LSBoost',numTrees,t,... 'Type','regression','KFold',5,'LearnRate',lr(k)); end; end;
Вычислите перекрестный подтвержденный MSE для каждого ансамбля.
kflAll = @(x)kfoldLoss(x,'Mode','cumulative'); errorCell = cellfun(kflAll,Mdl,'Uniform',false); error = reshape(cell2mat(errorCell),[numTrees numel(maxNumSplits) numel(lr)]); errorDeep = kfoldLoss(MdlDeep); errorStump = kfoldLoss(MdlStump);
Постройте, как перекрестный подтвержденный MSE ведет себя как количество деревьев в увеличениях ансамбля для нескольких ансамблей, глубокого дерева и пня. Постройте кривые относительно темпа обучения в том же графике и постройте отдельные графики для переменных древовидных сложностей. Выберите подмножество древовидных уровней сложности.
mnsPlot = [1 round(numel(maxNumSplits)/2) numel(maxNumSplits)]; figure; for k = 1:3; subplot(2,2,k); plot(squeeze(error(:,mnsPlot(k),:)),'LineWidth',2); axis tight; hold on; h = gca; plot(h.XLim,[errorDeep errorDeep],'-.b','LineWidth',2); plot(h.XLim,[errorStump errorStump],'-.r','LineWidth',2); plot(h.XLim,min(min(error(:,mnsPlot(k),:))).*[1 1],'--k'); h.YLim = [10 50]; xlabel 'Number of trees'; ylabel 'Cross-validated MSE'; title(sprintf('MaxNumSplits = %0.3g', maxNumSplits(mnsPlot(k)))); hold off; end; hL = legend([cellstr(num2str(lr','Learning Rate = %0.2f'));... 'Deep Tree';'Stump';'Min. MSE']); hL.Position(1) = 0.6;
Каждая кривая содержит минимум перекрестный подтвержденный MSE, происходящий в оптимальном количестве деревьев в ансамбле.
Идентифицируйте максимальное количество разделений, количество деревьев и темп обучения, который приводит к самому низкому MSE в целом.
[minErr,minErrIdxLin] = min(error(:));
[idxNumTrees,idxMNS,idxLR] = ind2sub(size(error),minErrIdxLin);
fprintf('\nMin. MSE = %0.5f',minErr)Min. MSE = 18.50574
fprintf('\nOptimal Parameter Values:\nNum. Trees = %d',idxNumTrees);Optimal Parameter Values: Num. Trees = 12
fprintf('\nMaxNumSplits = %d\nLearning Rate = %0.2f\n',... maxNumSplits(idxMNS),lr(idxLR))
MaxNumSplits = 4 Learning Rate = 0.25
Для другого подхода к оптимизации этого ансамбля смотрите, Оптимизируют Повышенный Ансамбль Регрессии.
NLearn может отличаться от нескольких дюжин до нескольких тысяч. Обычно, ансамбль с хорошей предсказательной силой требует от нескольких сотен до нескольких тысяч слабых учеников. Однако вы не должны обучать ансамбль который много циклов целиком. Можно запустить путем роста нескольких дюжин учеников, осмотреть производительность ансамбля и затем, при необходимости, обучить более слабых учеников, использующих resume для проблем классификации или resume для проблем регрессии.
Производительность ансамбля зависит от установки ансамбля и установки слабых учеников. Таким образом, если вы задаете слабых учеников с параметрами по умолчанию, затем ансамбль может выполнить плохо. Поэтому как настройки ансамбля, это - хорошая практика, чтобы настроить параметры слабых шаблонов использования учеников и выбрать значения, которые минимизируют ошибку обобщения.
Если вы задаете, чтобы передискретизировать использование Resample, то это - хорошая практика, чтобы передискретизировать к целому набору данных. Таким образом, используйте настройку по умолчанию 1 для FResample.
В проблемах классификации (то есть, Type является 'classification'):
Если методом агрегации ансамбля (Method) является 'bag' и:
Стоимость misclassification (Cost) является очень неустойчивой, затем, для выборок в сумке, программное обеспечение сверхдискретизировало уникальные наблюдения от класса, который имеет большой штраф.
Априорные вероятности класса (Prior) высоко скашиваются, программное обеспечение сверхдискретизировало уникальные наблюдения от класса, который имеет большую априорную вероятность.
Для меньших объемов выборки эти комбинации могут привести к низкой относительной частоте наблюдений из сумки от класса, который имеет большой штраф или априорную вероятность. Следовательно, предполагаемая ошибка из сумки является очень переменной, и может быть трудно интерпретировать. Чтобы избежать больших предполагаемых ошибочных отклонений из сумки, особенно для размеров небольшой выборки, устанавливают более сбалансированную матрицу стоимости misclassification использование Cost или менее скошенного вектора априорной вероятности использование Prior.
Поскольку порядок некоторых аргументов ввода и вывода соответствует отличным классам в данных тренировки, это - хорошая практика, чтобы задать порядок класса с помощью аргумента пары "имя-значение" ClassNames.
Чтобы определить порядок класса быстро, удалите все наблюдения из данных тренировки, которые являются несекретными (то есть, имейте недостающую метку), получите и отобразите массив всех отличных классов, и затем задайте массив для ClassNames. Например, предположите, что переменная отклика (Y) является массивом ячеек меток. Этот код задает порядок класса в переменной classNames.
Ycat = categorical(Y); classNames = categories(Ycat)
categorical присваивает <undefined> несекретным наблюдениям, и categories исключает <undefined> из своего вывода. Поэтому, если вы используете этот код для массивов ячеек меток или подобный код для категориальных массивов, затем вы не должны удалять наблюдения с пропавшими без вести меток, чтобы получить список отличных классов.Чтобы указать что порядок класса от представленной самым низким образом метки до наиболее представленного, затем быстро определите порядок класса (как в предыдущем маркере), но расположите классы в списке частотой прежде, чем передать список ClassNames. Следуя из предыдущего примера, этот код задает порядок класса от самого низкого - к наиболее представленному в classNamesLH.
Ycat = categorical(Y); classNames = categories(Ycat); freq = countcats(Ycat); [~,idx] = sort(freq); classNamesLH = classNames(idx);
Для получения дополнительной информации алгоритмов агрегации ансамбля, см. Алгоритмы Ансамбля.
Если вы задаете Method, чтобы быть повышающим алгоритмом и Learners, чтобы быть деревьями решений, то программное обеспечение выращивает stumps по умолчанию. Пень решения является одним корневым узлом, соединенным с двумя терминалами, вершинами. Можно настроить древовидную глубину путем определения MaxNumSplits, MinLeafSize и аргументов пары "имя-значение" MinParentSize с помощью templateTree.
fitensemble генерирует выборки в сумке путем сверхдискретизации классов с большими затратами misclassification и субдискретизации классов с маленькими затратами misclassification. Следовательно, выборки из сумки имеют меньше наблюдений от классов с большими затратами misclassification и больше наблюдений от классов с маленькими затратами misclassification. Если вы обучаете ансамбль классификации, использующий небольшой набор данных и очень скошенную матрицу стоимости, то количество наблюдений из сумки в классе может быть низким. Поэтому предполагаемая ошибка из сумки может иметь большое отклонение и может быть трудной интерпретировать. То же явление может произойти для классов с большими априорными вероятностями.
Для метода агрегации ансамбля RUSBoost (Method) аргумент пары "имя-значение" RatioToSmallest задает пропорцию выборки для каждого класса относительно представленного самым низким образом класса. Например, предположите, что существует два класса в данных тренировки: A и B. A имеет 100 наблюдений, и B имеют 10 наблюдений. и что представленный самым низким образом класс имеет наблюдения m в данных тренировки.
Если вы устанавливаете 'RatioToSmallest',2, то s*m 2*10 = 20. Следовательно, fitensemble обучает каждого ученика, использующего 20 наблюдений от класса A и 20 наблюдений от класса B. Если вы устанавливаете 'RatioToSmallest',[2 2], то вы получаете тот же результат.
Если вы устанавливаете 'RatioToSmallest',[2,1], то s1*m 2*10 = 20 и s2*m 1*10 = 10. Следовательно, fitensemble обучает каждого ученика, использующего 20 наблюдений от класса A и 10 наблюдений от класса B.
Для ансамблей деревьев решений, и для двухъядерных систем и выше, fitensemble параллелизирует обучение с помощью Intel® Threading Building Blocks (TBB). Для получения дополнительной информации на Intel TBB, см. https://software.intel.com/en-us/intel-tbb.
[1] Бреимен, L. “Укладывание в мешки Предикторов”. Машинное обучение. Издание 26, стр 123–140, 1996.
[2] Бреимен, L. “Случайные Леса”. Машинное обучение. Издание 45, стр 5–32, 2001.
[3] Freund, Y. “Более устойчивый повышающий алгоритм”. arXiv:0905.2138v1, 2009.
[4] Freund, Y. и Р. Э. Шапайр. “Теоретическое Решением Обобщение Дистанционного обучения и Приложения к Повышению”. J. Компьютерных и Системных Наук, Издания 55, стр 119–139, 1997.
[5] Фридман, J. “Жадное приближение функций: машина повышения градиента”. Летопись Статистики, Издания 29, № 5, стр 1189–1232, 2001.
[6] Фридман, J., Т. Хэсти и Р. Тибширэни. “Аддитивная логистическая регрессия: статистическое представление повышения”. Летопись Статистики, Издания 28, № 2, стр 337–407, 2000.
[7] Hastie, T., Р. Тибширэни и Дж. Фридман. Выпуск раздела Elements of Statistical Learning, Спрингер, Нью-Йорк, 2008.
[8] Хо, T. K. “Случайный метод подпространства для построения лесов решения”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту, Изданию 20, № 8, стр 832–844, 1998.
[9] Schapire, R. E. И. Фреунд, П. Бартлетт и В.С. Ли. “Повышение поля: новое объяснение эффективности голосующих методов”. Летопись Статистики, Издания 26, № 5, стр 1651–1686, 1998.
[10] Seiffert, C., Т. Хошгофтаар, Дж. Хулс и А. Наполитано. “RUSBoost: Улучшание производительности классификации, когда данные тренировки скашивается”. 19-я Международная конференция по вопросам Распознавания образов, стр 1–4, 2008.
[11] Warmuth, M., Цз. Ляо и Г. Рэч. “Полностью корректирующие повышающие алгоритмы, которые максимизируют поле”. Proc. 23-й Int’l. Конференция по Машинному обучению, ACM, Нью-Йорк, стр 1001–1008, 2006.
ClassificationBaggedEnsemble | ClassificationEnsemble | ClassificationPartitionedEnsemble | RegressionBaggedEnsemble | RegressionEnsemble | RegressionPartitionedEnsemble | templateDiscriminant | templateKNN | templateTree