fitensemble

Подходящий ансамбль учеников для классификации и регрессии

свернуть все на странице

fitensemble может повысить или ученики дерева решений сумки или классификаторы дискриминантного анализа. Функция может также обучить случайные ансамбли подпространства классификаторов дискриминантного анализа или KNN.

Для более простые интерфейсы, которые соответствуют классификации и ансамблям регрессии, вместо этого используйте fitcensemble и fitrensemble, соответственно. Кроме того, fitcensemble и fitrensemble предоставляют возможности для Байесовой оптимизации.

Синтаксис

Mdl = fitensemble(Tbl,ResponseVarName,Method,NLearn,Learners)
Mdl = fitensemble(Tbl,formula,Method,NLearn,Learners)
Mdl = fitensemble(Tbl,Y,Method,NLearn,Learners)
Mdl = fitensemble(X,Y,Method,NLearn,Learners)
Mdl = fitensemble(___,Name,Value)

Описание

пример

Mdl = fitensemble(Tbl,ResponseVarName,Method,NLearn,Learners) возвращает обученный объект модели ансамбля, который содержит результаты подбора кривой ансамблю классификации NLearn или учеников регрессии (Learners) ко всем переменным в таблице Tbl. ResponseVarName является именем переменной отклика в Tbl. Method является методом агрегации ансамбля.

пример

Mdl = fitensemble(Tbl,formula,Method,NLearn,Learners) соответствует модели, заданной formula.

пример

Mdl = fitensemble(Tbl,Y,Method,NLearn,Learners) обработки все переменные в Tbl как переменные прогноза. Y является переменной отклика, которая не находится в Tbl.

пример

Mdl = fitensemble(X,Y,Method,NLearn,Learners) обучает ансамбль, использующий данные о предикторе в X и данные об ответе в Y.

пример

Mdl = fitensemble(___,Name,Value) обучает ансамбль, использующий дополнительные опции, заданные одним или несколькими аргументами пары Name,Value и любым из предыдущих синтаксисов. Например, можно задать порядок класса, чтобы реализовать 10-кратную перекрестную проверку или темп обучения.

Примеры

свернуть все

Скрипт Open Live Script

Оцените утрату перезамены обученного, повышающего ансамбля классификации деревьев решений.

Загрузите набор данных ionosphere.

load ionosphere;

Обучите использование ансамбля дерева решений AdaBoost, 100 циклов изучения и целый набор данных.

ClassTreeEns = fitensemble(X,Y,'AdaBoostM1',100,'Tree');

ClassTreeEns является обученным классификатором ансамбля ClassificationEnsemble.

Определите совокупные потери перезамены (т.е. совокупную misclassification ошибку меток в данных тренировки).

rsLoss = resubLoss(ClassTreeEns,'Mode','Cumulative');

rsLoss 100 1 вектор, где элемент k содержит потерю перезамены после первого k изучение циклов.

Постройте совокупную потерю перезамены по количеству изучения циклов.

plot(rsLoss);
xlabel('Number of Learning Cycles');
ylabel('Resubstitution Loss');

В целом, когда количество деревьев решений в обученном ансамбле классификации увеличивается, уменьшения перезамены потерь.

Уменьшение в потере перезамены может указать, что программное обеспечение обучило ансамбль разумно. Однако вы не можете вывести предсказательную силу ансамбля этим уменьшением. Чтобы измерить предсказательную силу ансамбля, оцените ошибку обобщения:

  1. Случайным образом деля данные в наборы обучения и перекрестной проверки. Сделайте это путем определения 'holdout',holdoutProportion, когда вы обучите ансамбль, использующий fitensemble.

  2. Передача обученного ансамбля к kfoldLoss, который оценивает ошибку обобщения.

Скрипт Open Live Script

Используйте обученный, повышенный ансамбль дерева регрессии, чтобы предсказать экономию топлива автомобиля. Выберите количество цилиндров, объем, перемещенный цилиндрами, лошадиной силой и весом как предикторы. Затем обучите ансамбль, использующий меньше предикторов, и сравните его прогнозирующую точность в выборке с первым ансамблем.

Загрузите набор данных carsmall. Храните данные тренировки в таблице.

load carsmall
Tbl = table(Cylinders,Displacement,Horsepower,Weight,MPG);

Задайте шаблон дерева регрессии, который использует суррогатные разделения, чтобы улучшить прогнозирующую точность в присутствии значений NaN.

t = templateTree('Surrogate','On');

Обучите ансамбль дерева регрессии, использующий LSBoost и 100 циклов изучения.

Mdl1 = fitensemble(Tbl,'MPG','LSBoost',100,t);

Mdl1 является обученным ансамблем регрессии RegressionEnsemble. Поскольку MPG является переменной в MATLAB® Workspace, можно получить тот же результат путем ввода

Mdl1 = fitensemble(Tbl,MPG,'LSBoost',100,t);

Используйте обученный ансамбль регрессии, чтобы предсказать экономию топлива для автомобиля с четырьмя цилиндрами с 200-кубическим смещением дюйма, 150 лошадиных сил и весящие 3 000 фунтов.

predMPG = predict(Mdl1,[4 200 150 3000])
predMPG = 22.8462

Средняя экономия топлива автомобиля с этими спецификациями составляет 21,78 мили на галлон.

Обучите новый ансамбль, использующий все предикторы в Tbl кроме Displacement.

formula = 'MPG ~ Cylinders + Horsepower + Weight';
Mdl2 = fitensemble(Tbl,formula,'LSBoost',100,t);

Сравните перезамену MSEs между Mdl1 и Mdl2.

mse1 = resubLoss(Mdl1)
mse1 = 6.4721

mse2 = resubLoss(Mdl2)
mse2 = 7.8599

MSE в выборке для ансамбля, который обучается на всех предикторах, ниже.

Скрипт Open Live Script

Оцените ошибку обобщения обученного, повышающего ансамбля классификации деревьев решений.

Загрузите набор данных ionosphere.

load ionosphere;

Обучите ансамбль дерева решений, использующий AdaBoostM1, 100 циклов изучения и половину данных, выбранных случайным образом. Программное обеспечение подтверждает алгоритм с помощью остающейся половины.

rng(2); % For reproducibility
ClassTreeEns = fitensemble(X,Y,'AdaBoostM1',100,'Tree',...
    'Holdout',0.5);

ClassTreeEns является обученным классификатором ансамбля ClassificationEnsemble.

Определите совокупную ошибку обобщения, т.е. совокупную misclassification ошибку меток в данных о валидации).

genError = kfoldLoss(ClassTreeEns,'Mode','Cumulative');

genError 100 1 вектор, где элемент k содержит ошибку обобщения после первого k изучение циклов.

Постройте ошибку обобщения по количеству изучения циклов.

plot(genError);
xlabel('Number of Learning Cycles');
ylabel('Generalization Error');

Совокупная ошибка обобщения уменьшается приблизительно к 7%, когда 25 слабых учеников составляют классификатор ансамбля.

Скрипт Open Live Script

Можно управлять глубиной деревьев в ансамбле деревьев решений. Можно также управлять древовидной глубиной в модели ECOC, содержащей двоичных учеников дерева решений, использующих MaxNumSplits, MinLeafSize или параметры пары "имя-значение" MinParentSize.

  • При укладывании в мешки деревьев решений fitensemble выращивает глубокие деревья решений по умолчанию. Можно вырастить более мелкие деревья, чтобы уменьшать сложность модели или время вычисления.

  • При повышении деревьев решений fitensemble выращивает пни (дерево с одним разделением) по умолчанию. Можно вырастить более глубокие деревья для лучшей точности.

Загрузите набор данных carsmall. Задайте переменные Acceleration, Displacement, Horsepower и Weight как предикторы и MPG как ответ.

load carsmall
X = [Acceleration Displacement Horsepower Weight];
Y = MPG;

Значения по умолчанию древовидных контроллеров глубины для повышения деревьев регрессии:

  • 1 для MaxNumSplits. Эта опция выращивает пни.

  • 5 для MinLeafSize

  • 10 для MinParentSize

Искать оптимальное количество разделений:

  1. Обучите набор ансамблей. Экспоненциально увеличьте максимальное число разделений для последующих ансамблей от пня до в большей части n - 1 разделение, где n является учебным объемом выборки. Кроме того, уменьшите темп обучения для каждого ансамбля с 1 до 0,1.

  2. Крест подтверждает ансамбли.

  3. Оцените перекрестную подтвержденную среднеквадратическую ошибку (MSE) для каждого ансамбля.

  4. Сравните перекрестный подтвержденный MSEs. Ансамбль с самым низким выполняет лучшее, и указывает на оптимальное максимальное количество разделений, количество деревьев и темп обучения для набора данных.

Вырастите и крест подтверждают глубокое дерево регрессии и пень. Задайте, чтобы использовать суррогатные разделения, потому что данные содержат отсутствующие значения. Они служат сравнительными тестами.

MdlDeep = fitrtree(X,Y,'CrossVal','on','MergeLeaves','off',...
    'MinParentSize',1,'Surrogate','on');
MdlStump = fitrtree(X,Y,'MaxNumSplits',1,'CrossVal','on','Surrogate','on');

Обучите повышающие ансамбли, использующие 150 деревьев регрессии. Крест подтверждает ансамбль, использующий 5-кратную перекрестную проверку. Отличайтесь максимальное количество разделений с помощью значений в последовательности {20,21,...,2m}, где m таков что 2m не больше, чем n - 1, где n является учебным объемом выборки. Для каждого варианта настройте темп обучения к каждому значению в наборе {0.1, 0.25, 0.5, 1};

n = size(X,1);
m = floor(log2(n - 1));
lr = [0.1 0.25 0.5 1];
maxNumSplits = 2.^(0:m);
numTrees = 150;
Mdl = cell(numel(maxNumSplits),numel(lr));
rng(1); % For reproducibility
for k = 1:numel(lr);
    for j = 1:numel(maxNumSplits);
        t = templateTree('MaxNumSplits',maxNumSplits(j),'Surrogate','on');
        Mdl{j,k} = fitensemble(X,Y,'LSBoost',numTrees,t,...
            'Type','regression','KFold',5,'LearnRate',lr(k));
    end;
end;

Вычислите перекрестный подтвержденный MSE для каждого ансамбля.

kflAll = @(x)kfoldLoss(x,'Mode','cumulative');
errorCell = cellfun(kflAll,Mdl,'Uniform',false);
error = reshape(cell2mat(errorCell),[numTrees numel(maxNumSplits) numel(lr)]);
errorDeep = kfoldLoss(MdlDeep);
errorStump = kfoldLoss(MdlStump);

Постройте, как перекрестный подтвержденный MSE ведет себя как количество деревьев в увеличениях ансамбля для нескольких ансамблей, глубокого дерева и пня. Постройте кривые относительно темпа обучения в том же графике и постройте отдельные графики для переменных древовидных сложностей. Выберите подмножество древовидных уровней сложности.

mnsPlot = [1 round(numel(maxNumSplits)/2) numel(maxNumSplits)];
figure;
for k = 1:3;
    subplot(2,2,k);
    plot(squeeze(error(:,mnsPlot(k),:)),'LineWidth',2);
    axis tight;
    hold on;
    h = gca;
    plot(h.XLim,[errorDeep errorDeep],'-.b','LineWidth',2);
    plot(h.XLim,[errorStump errorStump],'-.r','LineWidth',2);
    plot(h.XLim,min(min(error(:,mnsPlot(k),:))).*[1 1],'--k');
    h.YLim = [10 50];    
    xlabel 'Number of trees';
    ylabel 'Cross-validated MSE';
    title(sprintf('MaxNumSplits = %0.3g', maxNumSplits(mnsPlot(k))));
    hold off;
end;
hL = legend([cellstr(num2str(lr','Learning Rate = %0.2f'));...
        'Deep Tree';'Stump';'Min. MSE']);
hL.Position(1) = 0.6;

Каждая кривая содержит минимум перекрестный подтвержденный MSE, происходящий в оптимальном количестве деревьев в ансамбле.

Идентифицируйте максимальное количество разделений, количество деревьев и темп обучения, который приводит к самому низкому MSE в целом.

[minErr,minErrIdxLin] = min(error(:));
[idxNumTrees,idxMNS,idxLR] = ind2sub(size(error),minErrIdxLin);

fprintf('\nMin. MSE = %0.5f',minErr)
Min. MSE = 18.50574

fprintf('\nOptimal Parameter Values:\nNum. Trees = %d',idxNumTrees);
Optimal Parameter Values:
Num. Trees = 12

fprintf('\nMaxNumSplits = %d\nLearning Rate = %0.2f\n',...
    maxNumSplits(idxMNS),lr(idxLR))
MaxNumSplits = 4
Learning Rate = 0.25

Для другого подхода к оптимизации этого ансамбля смотрите, Оптимизируют Повышенный Ансамбль Регрессии.

Входные параметры

свернуть все

Выборочные данные раньше обучали модель, заданную как таблица. Каждая строка Tbl соответствует одному наблюдению, и каждый столбец соответствует одной переменной прогноза. Tbl может содержать один дополнительный столбец для переменной отклика. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не позволены.

  • Если Tbl содержит переменную отклика, и вы хотите использовать все остающиеся переменные в качестве предикторов, затем задать переменную отклика с помощью ResponseVarName.

  • Если Tbl содержит переменную отклика, и вы хотите использовать подмножество остающихся переменных только как предикторы, затем задать формулу с помощью formula.

  • Если Tbl не содержит переменную отклика, то задайте данные об ответе с помощью Y. Длина переменной отклика и количество строк Tbl должны быть равными.

Примечание

Чтобы сохранить память и время выполнения, предоставьте X и Y вместо Tbl.

Типы данных: table

Имя переменной отклика, заданное как имя переменной отклика в Tbl.

Необходимо задать ResponseVarName как вектор символов или представить скаляр в виде строки. Например, если Tbl.Y является переменной отклика, то задайте ResponseVarName как 'Y'. В противном случае fitensemble обрабатывает все столбцы Tbl как переменные прогноза.

Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Для классификации можно задать порядок классов с помощью аргумента пары "имя-значение" ClassNames. В противном случае fitensemble определяет порядок класса и хранит его в Mdl.ClassNames.

Типы данных: char | string

Объяснительная модель ответа и подмножество переменных прогноза, заданных как вектор символов или скаляр строки в форме 'Y~X1+X2+X3'. В этой форме Y представляет переменную отклика, и X1, X2, и X3 представляет переменные прогноза. Переменные должны быть именами переменных в Tbl (Tbl.Properties.VariableNames).

Чтобы задать подмножество переменных в Tbl как предикторы для обучения модель, используйте формулу. Если вы задаете формулу, то программное обеспечение не использует переменных в Tbl, которые не появляются в formula.

Типы данных: char | string

Данные о предикторе, заданные как числовая матрица.

Каждая строка соответствует одному наблюдению, и каждый столбец соответствует одной переменной прогноза.

Длина Y и количество строк X должны быть равными.

Чтобы задать имена предикторов в порядке их внешнего вида в X, используйте аргумент пары "имя-значение" PredictorNames.

Типы данных: single | double

Данные об ответе, заданные как категориальное, символ, или массив строк, логический или числовой вектор или массив ячеек из символьных векторов. Каждая запись в Y является ответом на или меткой для наблюдения в соответствующей строке X или Tbl. Длина Y и количество строк X или Tbl должны быть равными. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

  • Для классификации Y может быть любым из поддерживаемых типов данных. Можно задать порядок классов с помощью аргумента пары "имя-значение" ClassNames. В противном случае fitensemble определяет порядок класса и хранит его в Mdl.ClassNames.

  • Для регрессии Y должен быть числовым вектор-столбцом.

Типы данных: categorical | char | string | logical | single | double | cell

Метод агрегации ансамбля, заданный как одни из имен методов в этом списке.

  • Для классификации с двумя классами:

    • 'AdaBoostM1'

    • 'LogitBoost'

    • 'GentleBoost'

    • 'RobustBoost' (требует Optimization Toolbox™),

    • 'LPBoost' (требует Optimization Toolbox),

    • 'TotalBoost' (требует Optimization Toolbox),

    • 'RUSBoost'

    • 'Subspace'

    • 'Bag'

  • Для классификации с тремя или больше классами:

    • 'AdaBoostM2'

    • 'LPBoost' (требует Optimization Toolbox),

    • 'TotalBoost' (требует Optimization Toolbox),

    • 'RUSBoost'

    • 'Subspace'

    • 'Bag'

  • Для регрессии:

    • 'LSBoost'

    • 'Bag'

Если вы задаете 'Method','Bag', то задаете проблемный тип с помощью аргумента пары "имя-значение" Type, потому что можно задать 'Bag' для проблем регрессии и классификации.

Для получения дополнительной информации об алгоритмах агрегации ансамбля и примерах, см. Алгоритмы Ансамбля и Выберите Applicable Ensemble Aggregation Method.

Количество ансамбля, изучающего циклы, заданные как положительное целое число или 'AllPredictorCombinations'.

  • Если вы задаете положительное целое число, то в каждом цикле изучения программное обеспечение обучает одного слабого ученика каждому объекту шаблона в Learners. Следовательно, программное обеспечение обучает учеников NLearn*numel(Learners).

  • Если вы задаете 'AllPredictorCombinations', то установленный Method к 'Subspace' и задает одного ученика только в Learners. С этими настройками программное обеспечение обучает учеников всем возможным комбинациям предикторов взятый NPredToSample за один раз. Следовательно, программное обеспечение обучает nchoosek ученики (size(X,2),NPredToSample).

Программное обеспечение составляет ансамбль, использующий всех обученных учеников, и хранит их в Mdl.Trained.

Для получения дополнительной информации смотрите Советы.

Типы данных: single | double | char | string

Слабые ученики, чтобы использовать в ансамбле, заданном как имя слабого ученика, объект шаблона слабого ученика или массив ячеек объектов шаблона слабого ученика.

Слабый ученикИмя слабого ученикаФункция создания объекта шаблонаНастройки Method
Дискриминантный анализ'Discriminant'templateDiscriminantРекомендуемый для 'Subspace'
k самые близкие соседи'KNN'templateKNNДля 'Subspace' только
Дерево решений'Tree'templateTreeВсе методы кроме 'Subspace'

Для получения дополнительной информации смотрите NLearn и Советы.

Пример: Для ансамбля, состоявшего из двух типов деревьев классификации, предоставьте {t1 t2}, где t1 и t2 являются шаблонами дерева классификации.

Аргументы в виде пар имя-значение

Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'CrossVal','on','LearnRate',0.05 задает, чтобы реализовать 10-кратную перекрестную проверку и использовать 0.05 в качестве темпа обучения.

Общие опции ансамбля

свернуть все

Категориальный список предикторов, заданный как пара, разделенная запятой, состоящая из 'CategoricalPredictors' и одно из значений в этой таблице.

ЗначениеОписание
Вектор положительных целых чиселЗапись в векторе является индексным значением, соответствующим столбцу данных о предикторе (X или Tbl), который содержит категориальную переменную.
Логический векторЗапись true означает, что соответствующий столбец данных о предикторе (X или Tbl) является категориальной переменной.
Символьная матрицаКаждая строка матрицы является именем переменной прогноза. Имена должны совпадать с записями в PredictorNames. Заполните имена дополнительными пробелами, таким образом, каждая строка символьной матрицы имеет ту же длину.
Массив строк или массив ячеек из символьных векторовКаждый элемент в массиве является именем переменной прогноза. Имена должны совпадать с записями в PredictorNames.
всеВсе предикторы являются категориальными.

Спецификация CategoricalPredictors является соответствующей если:

  • 'Learners' является 'tree'.

  • 'Learners' является 'knn', когда все предикторы являются категориальными.

По умолчанию, если данные о предикторе находятся в таблице (Tbl), fitensemble принимает, что переменная является категориальной, если это содержит логические значения, категориальные значения, массив строк или массив ячеек из символьных векторов. Если данные о предикторе являются матрицей (X), fitensemble принимает, что все предикторы непрерывны. Чтобы идентифицировать любые категориальные предикторы, когда данные будут матрицей, используйте аргумент пары "имя-значение" 'CategoricalPredictors'.

Пример: 'CategoricalPredictors','all'

Типы данных: single | double | logical | char | string | cell

Частота распечатки, заданная как пара, разделенная запятой, состоящая из 'NPrint' и положительного целого числа или 'off'.

Чтобы отследить количество слабых учеников или сгибов что fitensemble, обученный до сих пор, задайте положительное целое число. Таким образом, если вы задаете положительный целочисленный m:

  • Также не задавая опции перекрестной проверки (например, CrossVal), затем fitensemble отображает сообщение к командной строке каждый раз, когда это завершает учебный m слабые ученики.

  • И опция перекрестной проверки, затем fitensemble отображает сообщение к командной строке каждый раз, когда это закончило учебные сгибы m.

Если вы задаете 'off', то fitensemble не отображает сообщение, когда это завершает учебных слабых учеников.

Совет

Когда обучение ансамбль многих слабых учеников на большом наборе данных, задайте положительное целое число для NPrint.

Пример: 'NPrint',5

Типы данных: single | double | char | string

Имена переменной прогноза, заданные как пара, разделенная запятой, состоящая из 'PredictorNames' и массив строк уникальных имен или массив ячеек уникальных векторов символов. Функциональность 'PredictorNames' зависит от способа, которым вы снабжаете данными тренировки.

  • Если вы предоставляете X и Y, то можно использовать 'PredictorNames', чтобы дать переменные прогноза на имена X.

    • Порядок имен в PredictorNames должен соответствовать порядку следования столбцов X. Таким образом, PredictorNames{1} является именем X(:,1), PredictorNames{2} является именем X(:,2) и так далее. Кроме того, size(X,2) и numel(PredictorNames) должны быть равными.

    • По умолчанию PredictorNames является {'x1','x2',...}.

  • Если вы предоставляете Tbl, то можно использовать 'PredictorNames', чтобы выбрать который переменные прогноза использовать в обучении. Таким образом, fitensemble использует только переменные прогноза в PredictorNames и переменную отклика в обучении.

    • PredictorNames должен быть подмножеством Tbl.Properties.VariableNames и не может включать имя переменной отклика.

    • По умолчанию PredictorNames содержит имена всех переменных прогноза.

    • Это - хорошая практика, чтобы задать предикторы для обучения с помощью или 'PredictorNames' или formula только.

Пример: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

Типы данных: string | cell

Имя переменной отклика, заданное как пара, разделенная запятой, состоящая из 'ResponseName' и вектора символов или скаляра строки.

  • Если вы предоставляете Y, то можно использовать 'ResponseName', чтобы задать имя для переменной отклика.

  • Если вы предоставляете ResponseVarName или formula, то вы не можете использовать 'ResponseName'.

Пример: 'ResponseName','response'

Типы данных: char | string

Контролируемый тип изучения, заданный как пара, разделенная запятой, состоящая из 'Type' и 'classification' или 'regression'.

  • Если Method является 'bag', то контролируемый тип изучения неоднозначен. Поэтому задайте Type при укладывании в мешки.

  • В противном случае значение Method определяет контролируемый тип изучения.

Пример: 'Type','classification'

Опции перекрестной проверки

свернуть все

Флаг перекрестной проверки, заданный как пара, разделенная запятой, состоящая из 'Crossval' и 'on' или 'off'.

Если вы задаете 'on', то программное обеспечение реализует 10-кратную перекрестную проверку.

Чтобы заменить эту установку перекрестной проверки, используйте один из этих аргументов пары "имя-значение": CVPartition, Holdout, KFold или Leaveout. Чтобы создать перекрестную подтвержденную модель, можно использовать один аргумент пары "имя-значение" перекрестной проверки за один раз только.

Также перекрестный подтвердите позже путем передачи Mdl crossval или crossval.

Пример: 'Crossval','on'

Раздел перекрестной проверки, заданный как пара, разделенная запятой, состоящая из 'CVPartition' и объекта раздела cvpartition, создается cvpartition. Объект раздела задает тип перекрестной проверки и индексации для наборов обучения и валидации.

Чтобы создать перекрестную подтвержденную модель, можно использовать один из этих четырех аргументов пары "имя-значение" только: CVPartition, Holdout, KFold или Leaveout.

Пример: Предположим, что вы создаете случайный раздел для 5-кратной перекрестной проверки на 500 наблюдениях при помощи cvp = cvpartition(500,'KFold',5). Затем можно задать перекрестную подтвержденную модель при помощи 'CVPartition',cvp.

Часть данных используется для валидации затяжки, заданной как пара, разделенная запятой, состоящая из 'Holdout' и скалярного значения в области значений (0,1). Если вы задаете 'Holdout',p, то программное обеспечение завершает эти шаги:

  1. Случайным образом выберите и зарезервируйте % p*100 данных как данные о валидации и обучите модель с помощью остальной части данных.

  2. Сохраните компактную, обученную модель в свойстве Trained перекрестной подтвержденной модели.

Чтобы создать перекрестную подтвержденную модель, можно использовать один из этих четырех аргументов пары "имя-значение" только: CVPartition, Holdout, KFold или Leaveout.

Пример: 'Holdout',0.1

Типы данных: double | single

Количество сгибов, чтобы использовать в перекрестной подтвержденной модели, заданной как пара, разделенная запятой, состоящая из 'KFold' и положительного целочисленного значения, больше, чем 1. Если вы задаете 'KFold',k, то программное обеспечение завершает эти шаги:

  1. Случайным образом разделите данные в наборы k.

  2. Для каждого набора зарезервируйте набор как данные о валидации и обучите модель с помощью другого k – 1 набор.

  3. Сохраните k компактные, обученные модели в ячейках k-by-1 вектор ячейки в свойстве Trained перекрестной подтвержденной модели.

Чтобы создать перекрестную подтвержденную модель, можно использовать один из этих четырех аргументов пары "имя-значение" только: CVPartition, Holdout, KFold или Leaveout.

Пример: 'KFold',5

Типы данных: single | double

Флаг перекрестной проверки "Пропускает один", заданный как пара, разделенная запятой, состоящая из 'Leaveout' и 'on' или 'off'. Если вы задаете 'Leaveout','on', то, для каждого из наблюдений n (где n является количеством наблюдений, исключая недостающие наблюдения, заданные в свойстве NumObservations модели), программное обеспечение завершает эти шаги:

  1. Зарезервируйте наблюдение как данные о валидации и обучите модель с помощью другого n – 1 наблюдение.

  2. Сохраните n компактные, обученные модели в ячейках n-by-1 вектор ячейки в свойстве Trained перекрестной подтвержденной модели.

Чтобы создать перекрестную подтвержденную модель, можно использовать один из этих четырех аргументов пары "имя-значение" только: CVPartition, Holdout, KFold или Leaveout.

Пример: 'Leaveout','on'

Другие опции классификации или регрессии

свернуть все

Имена классов, чтобы использовать для обучения, заданного как пара, разделенная запятой, состоящая из 'ClassNames' и категориального, символа, или массива строк, логического или числового вектора или массива ячеек из символьных векторов. ClassNames должен иметь совпадающий тип данных как Y.

Если ClassNames является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Используйте ClassNames для:

  • Закажите классы во время обучения.

  • Задайте порядок любой размерности аргумента ввода или вывода, которая соответствует порядку класса. Например, используйте ClassNames, чтобы задать порядок размерностей Cost или порядка следования столбцов очков классификации, возвращенных predict.

  • Выберите подмножество классов для обучения. Например, предположите, что набором всех отличных имен классов в Y является {'a','b','c'}. Чтобы обучить модель с помощью наблюдений от классов 'a' и 'c' только, задайте 'ClassNames',{'a','c'}.

Значение по умолчанию для ClassNames является набором всех отличных имен классов в Y.

Пример: 'ClassNames',{'b','g'}

Типы данных: categorical | char | string | logical | single | double | cell

Misclassification стоят, заданный как пара, разделенная запятой, состоящая из 'Cost' и квадратной матрицы или структуры. Если вы задаете:

  • Квадратная матрица Cost, затем Cost(i,j) является стоимостью классификации точки в класс j, если его истинным классом является i. Таким образом, строки соответствуют истинному классу, и столбцы соответствуют предсказанному классу. Чтобы задать порядок класса для соответствующих строк и столбцов Cost, также задайте аргумент пары "имя-значение" ClassNames.

  • Структура S, затем это должно иметь два поля:

    • S.ClassNames, который содержит имена классов как переменную совпадающего типа данных как Y

    • S.ClassificationCosts, который содержит матрицу стоимости со строками и столбцами, упорядоченными как в S.ClassNames

Значением по умолчанию является ones(K) - eye(K), где K является количеством отличных классов.

Примечание

fitensemble использует Cost, чтобы настроить предшествующие вероятности класса, заданные в Prior. Затем fitensemble использует настроенные априорные вероятности для обучения и сбрасывает матрицу стоимости к ее значению по умолчанию.

Пример: 'Cost',[0 1 2 ; 1 0 2; 2 2 0]

Типы данных: double | single | struct

Априорные вероятности для каждого класса, заданного как пара, разделенная запятой, состоящая из 'Prior' и значения в этой таблице.

ЗначениеОписание
'empirical'Априорные вероятности класса являются частотами родственника класса в Y.
'uniform'Все априорные вероятности класса равны 1/K, где K является количеством классов.
числовой векторКаждый элемент является априорной вероятностью класса. Закажите элементы согласно Mdl.ClassNames или задайте порядок с помощью аргумента пары "имя-значение" ClassNames. Программное обеспечение нормирует элементы, таким образом, что они суммируют к 1.
массив структур

Структура S с двумя полями:

  • S.ClassNames содержит имена классов как переменную того же типа как Y.

  • S.ClassProbs содержит вектор соответствующих априорных вероятностей. Программное обеспечение нормирует элементы, таким образом, что они суммируют к 1.

fitensemble нормирует априорные вероятности в Prior, чтобы суммировать к 1.

Пример: struct('ClassNames',{{'setosa','versicolor','virginica'}},'ClassProbs',1:3)

Типы данных: char | string | double | single | struct

Веса наблюдения, заданные как пара, разделенная запятой, состоящая из 'Weights' и числовой вектор положительных значений или имя переменной в Tbl. Программное обеспечение взвешивает наблюдения в каждой строке X или Tbl с соответствующим значением в Weights. Размер Weights должен равняться количеству строк X или Tbl.

Если вы задаете входные данные как таблицу Tbl, то Weights может быть именем переменной в Tbl, который содержит числовой вектор. В этом случае необходимо задать Weights как вектор символов или представить скаляр в виде строки. Например, если вектор весов, W хранится как Tbl.W, то задают его как 'W'. В противном случае программное обеспечение обрабатывает все столбцы Tbl, включая W, как предикторы или ответ когда обучение модель.

Программное обеспечение нормирует Weights, чтобы суммировать до значения априорной вероятности в соответствующем классе.

По умолчанию Weights является ones(n,1), где n является количеством наблюдений в X или Tbl.

Типы данных: double | single | char | string

Выборка опций для повышения методов и укладывания в мешки

свернуть все

Часть набора обучающих данных, чтобы передискретизировать для каждого слабого ученика, заданного как пара, разделенная запятой, состоящая из 'FResample' и положительной скалярной величины в (0,1].

Чтобы использовать 'FResample', задайте 'bag' для Method или установите Resample на 'on'.

Пример: 'FResample',0.75

Типы данных: single | double

Отметьте указание на выборку с помощью замены, заданной как пара, разделенная запятой, состоящая из 'Replace' и 'off' или 'on'.

  • Для 'on' программное обеспечение выбирает учебные наблюдения с заменой.

  • Для 'off' программное обеспечение выбирает учебные наблюдения без замены. Если вы устанавливаете Resample на 'on', то наблюдения обучения выборкам программного обеспечения, принимающие универсальные веса. Если вы также задаете повышающий метод, то программное обеспечение повышает путем перевзвешивания наблюдений.

Если вы не устанавливаете Method на 'bag' или устанавливаете Resample на 'on', Replace не имеет никакого эффекта.

Пример: 'Replace','off'

Отметьте указание, чтобы передискретизировать, заданный как пара, разделенная запятой, состоящая из 'Resample' и 'off' или 'on'.

  • Если Method является повышающим методом, то:

    • 'Resample','on' задает к демонстрационным учебным наблюдениям с помощью обновленных весов в качестве вероятностей выборки многочлена.

    • 'Resample','off' (значение по умолчанию) задает, чтобы повторно взвесить наблюдения в каждой итерации изучения.

  • Если Method является 'bag', то 'Resample' должен быть 'on'. Программное обеспечение передискретизирует часть учебных наблюдений (см. FResample) с или без замены (см. Replace).

Если вы задаете, чтобы передискретизировать использование Resample, то это - хорошая практика, чтобы передискретизировать к целому набору данных. Таким образом, используйте настройку по умолчанию 1 для FResample.

AdaBoostM1, AdaBoostM2, LogitBoost, GentleBoost и опции метода LSBoost

свернуть все

Темп обучения для уменьшения, заданного как пара, разделенная запятой, состоящая из числового скаляра в интервале (0,1].

Чтобы обучить ансамбль, использующий уменьшение, установите LearnRate на значение меньше, чем 1, например, 0.1 является популярным выбором. Обучение ансамбль, использующий уменьшение, требует большего количества итераций изучения, но часто достигает лучшей точности.

Пример: 'LearnRate',0.1

Типы данных: single | double

Опции метода RUSBoost

свернуть все

Темп обучения для уменьшения, заданного как пара, разделенная запятой, состоящая из числового скаляра в интервале (0,1].

Чтобы обучить ансамбль, использующий уменьшение, установите LearnRate на значение меньше, чем 1, например, 0.1 является популярным выбором. Обучение ансамбль, использующий уменьшение, требует большего количества итераций изучения, но часто достигает лучшей точности.

Пример: 'LearnRate',0.1

Типы данных: single | double

При выборке пропорции относительно представленного самым низким образом класса заданного, когда, пара, разделенная запятой, состоящая из 'RatioToSmallest' и числового скаляра или числового вектора положительных значений с длиной, равняется количеству отличных классов в данных тренировки.

Предположим, что существуют классы K в данных тренировки, и представленный самым низким образом класс имеет наблюдения m в данных тренировки.

  • Если вы задаете положительный числовой скаляр s, то выборки fitensemble наблюдения s*m от каждого класса, то есть, это использует ту же пропорцию выборки для каждого класса. Для получения дополнительной информации см. Алгоритмы.

  • Если вы задаете числовой векторный [s1,s2,...,sK], то выборки fitensemble наблюдения si*m от класса i, i = 1..., K. Элементы RatioToSmallest соответствуют порядку имен классов, заданных с помощью ClassNames (см. Советы).

Значением по умолчанию является ones(K,1), который задает, чтобы выбрать наблюдения m от каждого класса.

Пример: 'RatioToSmallest',[2,1]

Типы данных: single | double

LPBoost и опции метода TotalBoost

свернуть все

Граничная точность, чтобы управлять быстротой сходимости, заданной как пара, разделенная запятой, состоящая из 'MarginPrecision' и числового скаляра в интервале [0,1]. MarginPrecision влияет на количество повышения итераций, требуемых для сходимости.

Совет

Чтобы обучить ансамбль, использующий многих учеников, задайте маленькое значение для MarginPrecision. Для обучения с помощью нескольких учеников задайте большое значение.

Пример: 'MarginPrecision',0.5

Типы данных: single | double

Опции метода RobustBoost

свернуть все

Целевая ошибка классификации, заданная как пара, разделенная запятой, состоящая из 'RobustErrorGoal' и неотрицательного числового скаляра. Верхняя граница на возможных значениях зависит от значений RobustMarginSigma и RobustMaxMargin. Однако верхняя граница не может превысить 1.

Совет

Для конкретного набора обучающих данных обычно существует оптимальная область значений для RobustErrorGoal. Если вы устанавливаете его слишком низко или слишком высоко, то программное обеспечение может произвести модель с плохой точностью классификации. Попытайтесь перекрестный подтвердить, чтобы искать соответствующее значение.

Пример: 'RobustErrorGoal',0.05

Типы данных: single | double

Распределение поля классификации распространено по данным тренировки, заданным как пара, разделенная запятой, состоящая из 'RobustMarginSigma' и положительного числового скаляра. Прежде, чем задать RobustMarginSigma, консультируйтесь с литературой по RobustBoost, например, [19].

Пример: 'RobustMarginSigma',0.5

Типы данных: single | double

Максимальное поле классификации в данных тренировки, заданных как пара, разделенная запятой, состоящая из 'RobustMaxMargin' и неотрицательного числового скаляра. Программное обеспечение минимизирует количество наблюдений в данных тренировки, имеющих поля классификации ниже RobustMaxMargin.

Пример: 'RobustMaxMargin',1

Типы данных: single | double

Случайные опции метода подпространства

свернуть все

Количество предикторов к выборке для каждого случайного ученика подпространства, заданного как пара, разделенная запятой, состоящая из 'NPredToSample' и положительного целого числа в интервале 1..., p, где p является количеством переменных прогноза (size(X,2) или size(Tbl,2)).

Типы данных: single | double

Выходные аргументы

свернуть все

Обученная модель ансамбля, возвращенная как один из объектов модели в этой таблице.

Объект моделиУстановка TypeЗадать какие-либо опции перекрестной проверки?Установка MethodУстановка Resample
ClassificationBaggedEnsemble'classification'Нет'Bag''on'
ClassificationEnsemble'classification'НетЛюбой метод агрегации ансамбля для классификации'off'
ClassificationPartitionedEnsemble'classification'ДаЛюбой метод агрегации ансамбля классификации'off' или 'on'
RegressionBaggedEnsemble'regression'Нет'Bag''on'
RegressionEnsemble'regression'Нет'LSBoost''off'
RegressionPartitionedEnsemble'regression'Да'LSBoost' или 'Bag''off' или 'on'

Аргументы пары "имя-значение", что перекрестной проверкой управления является CrossVal, Holdout, KFold, Leaveout и CVPartition.

К ссылочным свойствам Mdl используйте запись через точку. Например, чтобы получить доступ или отобразить вектор ячейки слабых объектов модели ученика для ансамбля, который не был перекрестный подтвержден, введите Mdl.Trained в командной строке.

Советы

  • NLearn может отличаться от нескольких дюжин до нескольких тысяч. Обычно, ансамбль с хорошей предсказательной силой требует от нескольких сотен до нескольких тысяч слабых учеников. Однако вы не должны обучать ансамбль который много циклов целиком. Можно запустить путем роста нескольких дюжин учеников, осмотреть производительность ансамбля и затем, при необходимости, обучить более слабых учеников, использующих resume для проблем классификации или resume для проблем регрессии.

  • Производительность ансамбля зависит от установки ансамбля и установки слабых учеников. Таким образом, если вы задаете слабых учеников с параметрами по умолчанию, затем ансамбль может выполнить плохо. Поэтому как настройки ансамбля, это - хорошая практика, чтобы настроить параметры слабых шаблонов использования учеников и выбрать значения, которые минимизируют ошибку обобщения.

  • Если вы задаете, чтобы передискретизировать использование Resample, то это - хорошая практика, чтобы передискретизировать к целому набору данных. Таким образом, используйте настройку по умолчанию 1 для FResample.

  • В проблемах классификации (то есть, Type является 'classification'):

    • Если методом агрегации ансамбля (Method) является 'bag' и:

      • Стоимость misclassification (Cost) является очень неустойчивой, затем, для выборок в сумке, программное обеспечение сверхдискретизировало уникальные наблюдения от класса, который имеет большой штраф.

      • Априорные вероятности класса (Prior) высоко скашиваются, программное обеспечение сверхдискретизировало уникальные наблюдения от класса, который имеет большую априорную вероятность.

      Для меньших объемов выборки эти комбинации могут привести к низкой относительной частоте наблюдений из сумки от класса, который имеет большой штраф или априорную вероятность. Следовательно, предполагаемая ошибка из сумки является очень переменной, и может быть трудно интерпретировать. Чтобы избежать больших предполагаемых ошибочных отклонений из сумки, особенно для размеров небольшой выборки, устанавливают более сбалансированную матрицу стоимости misclassification использование Cost или менее скошенного вектора априорной вероятности использование Prior.

    • Поскольку порядок некоторых аргументов ввода и вывода соответствует отличным классам в данных тренировки, это - хорошая практика, чтобы задать порядок класса с помощью аргумента пары "имя-значение" ClassNames.

      • Чтобы определить порядок класса быстро, удалите все наблюдения из данных тренировки, которые являются несекретными (то есть, имейте недостающую метку), получите и отобразите массив всех отличных классов, и затем задайте массив для ClassNames. Например, предположите, что переменная отклика (Y) является массивом ячеек меток. Этот код задает порядок класса в переменной classNames.

        Ycat = categorical(Y);
classNames = categories(Ycat)
        categorical присваивает <undefined> несекретным наблюдениям, и categories исключает <undefined> из своего вывода. Поэтому, если вы используете этот код для массивов ячеек меток или подобный код для категориальных массивов, затем вы не должны удалять наблюдения с пропавшими без вести меток, чтобы получить список отличных классов.

      • Чтобы указать что порядок класса от представленной самым низким образом метки до наиболее представленного, затем быстро определите порядок класса (как в предыдущем маркере), но расположите классы в списке частотой прежде, чем передать список ClassNames. Следуя из предыдущего примера, этот код задает порядок класса от самого низкого - к наиболее представленному в classNamesLH.

        Ycat = categorical(Y);
classNames = categories(Ycat);
freq = countcats(Ycat);
[~,idx] = sort(freq);
classNamesLH = classNames(idx);

Алгоритмы

  • Для получения дополнительной информации алгоритмов агрегации ансамбля, см. Алгоритмы Ансамбля.

  • Если вы задаете Method, чтобы быть повышающим алгоритмом и Learners, чтобы быть деревьями решений, то программное обеспечение выращивает stumps по умолчанию. Пень решения является одним корневым узлом, соединенным с двумя терминалами, вершинами. Можно настроить древовидную глубину путем определения MaxNumSplits, MinLeafSize и аргументов пары "имя-значение" MinParentSize с помощью templateTree.

  • fitensemble генерирует выборки в сумке путем сверхдискретизации классов с большими затратами misclassification и субдискретизации классов с маленькими затратами misclassification. Следовательно, выборки из сумки имеют меньше наблюдений от классов с большими затратами misclassification и больше наблюдений от классов с маленькими затратами misclassification. Если вы обучаете ансамбль классификации, использующий небольшой набор данных и очень скошенную матрицу стоимости, то количество наблюдений из сумки в классе может быть низким. Поэтому предполагаемая ошибка из сумки может иметь большое отклонение и может быть трудной интерпретировать. То же явление может произойти для классов с большими априорными вероятностями.

  • Для метода агрегации ансамбля RUSBoost (Method) аргумент пары "имя-значение" RatioToSmallest задает пропорцию выборки для каждого класса относительно представленного самым низким образом класса. Например, предположите, что существует два класса в данных тренировки: A и B. A имеет 100 наблюдений, и B имеют 10 наблюдений. и что представленный самым низким образом класс имеет наблюдения m в данных тренировки.

    • Если вы устанавливаете 'RatioToSmallest',2, то s*m = 2*10 = 20. Следовательно, fitensemble обучает каждого ученика, использующего 20 наблюдений от класса A и 20 наблюдений от класса B. Если вы устанавливаете 'RatioToSmallest',[2 2], то вы получаете тот же результат.

    • Если вы устанавливаете 'RatioToSmallest',[2,1], то s1*m = 2*10 = 20 и s2*m = 1*10 = 10. Следовательно, fitensemble обучает каждого ученика, использующего 20 наблюдений от класса A и 10 наблюдений от класса B.

  • Для ансамблей деревьев решений, и для двухъядерных систем и выше, fitensemble параллелизирует обучение с помощью Intel® Threading Building Blocks (TBB). Для получения дополнительной информации на Intel TBB, см. https://software.intel.com/en-us/intel-tbb.

Ссылки

[1] Бреимен, L. “Укладывание в мешки Предикторов”. Машинное обучение. Издание 26, стр 123–140, 1996.

[2] Бреимен, L. “Случайные Леса”. Машинное обучение. Издание 45, стр 5–32, 2001.

[3] Freund, Y. “Более устойчивый повышающий алгоритм”. arXiv:0905.2138v1, 2009.

[4] Freund, Y. и Р. Э. Шапайр. “Теоретическое Решением Обобщение Дистанционного обучения и Приложения к Повышению”. J. Компьютерных и Системных Наук, Издания 55, стр 119–139, 1997.

[5] Фридман, J. “Жадное приближение функций: машина повышения градиента”. Летопись Статистики, Издания 29, № 5, стр 1189–1232, 2001.

[6] Фридман, J., Т. Хэсти и Р. Тибширэни. “Аддитивная логистическая регрессия: статистическое представление повышения”. Летопись Статистики, Издания 28, № 2, стр 337–407, 2000.

[7] Hastie, T., Р. Тибширэни и Дж. Фридман. Выпуск раздела Elements of Statistical Learning, Спрингер, Нью-Йорк, 2008.

[8] Хо, T. K. “Случайный метод подпространства для построения лесов решения”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту, Изданию 20, № 8, стр 832–844, 1998.

[9] Schapire, R. E. И. Фреунд, П. Бартлетт и В.С. Ли. “Повышение поля: новое объяснение эффективности голосующих методов”. Летопись Статистики, Издания 26, № 5, стр 1651–1686, 1998.

[10] Seiffert, C., Т. Хошгофтаар, Дж. Хулс и А. Наполитано. “RUSBoost: Улучшание производительности классификации, когда данные тренировки скашивается”. 19-я Международная конференция по вопросам Распознавания образов, стр 1–4, 2008.

[11] Warmuth, M., Цз. Ляо и Г. Рэч. “Полностью корректирующие повышающие алгоритмы, которые максимизируют поле”. Proc. 23-й Int’l. Конференция по Машинному обучению, ACM, Нью-Йорк, стр 1001–1008, 2006.

Смотрите также

| | | | | | | |

Темы

Введенный в R2011a

Документация Statistics and Machine Learning Toolbox
Поддержка
Для просмотра документации необходимо авторизоваться на сайте