fitcensemble

Подходящий ансамбль учеников для классификации

Описание

пример

Mdl = fitcensemble(Tbl,ResponseVarName) возвращает обученный объект модели ансамбля классификации (Mdl) это содержит результаты повышения 100 деревьев классификации и предиктора и данных об ответе в таблице Tbl. ResponseVarName имя переменной отклика в Tbl. По умолчанию, fitcensemble использование LogitBoost для бинарной классификации и AdaBoostM2 для классификации мультиклассов.

пример

Mdl = fitcensemble(Tbl,formula) применяет formula подбирать модель к предиктору и данным об ответе в таблице Tbl. formula объяснительная модель ответа и подмножество переменных предикторов в Tbl используемый, чтобы соответствовать Mdl. Например, 'Y~X1+X2+X3' соответствует переменной отклика Tbl.Y в зависимости от переменных предикторов Tbl.X1, Tbl.X2, и Tbl.X3.

пример

Mdl = fitcensemble(Tbl,Y) обработки все переменные в таблице Tbl как переменные предикторы. Y массив меток класса, который не находится в Tbl.

пример

Mdl = fitcensemble(X,Y) использует данные о предикторе в матричном X и массив класса помечает в Y.

пример

Mdl = fitcensemble(___,Name,Value) дополнительные опции использования заданы одним или несколькими Name,Value парные аргументы и любой из входных параметров в предыдущих синтаксисах. Например, можно задать количество изучения циклов, метода агрегации ансамбля, или реализовывать 10-кратную перекрестную проверку.

Примеры

свернуть все

Создайте прогнозирующий ансамбль классификации, использующий все доступные переменные предикторы в данных. Затем обучите другой ансамбль, использующий меньше предикторов. Сравните прогнозирующую точность в выборке ансамблей.

Загрузите census1994 набор данных.

load census1994

Обучите ансамбль моделей классификации с помощью целого набора данных и опций по умолчанию.

Mdl1 = fitcensemble(adultdata,'salary')
Mdl1 = 
  ClassificationEnsemble
           PredictorNames: {1x14 cell}
             ResponseName: 'salary'
    CategoricalPredictors: [2 4 6 7 8 9 10 14]
               ClassNames: [<=50K    >50K]
           ScoreTransform: 'none'
          NumObservations: 32561
               NumTrained: 100
                   Method: 'LogitBoost'
             LearnerNames: {'Tree'}
     ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
                  FitInfo: [100x1 double]
       FitInfoDescription: {2x1 cell}


  Properties, Methods

Mdl ClassificationEnsemble модель. Некоторые известные характеристики Mdl :

  • Поскольку два класса представлены в данных, LogitBoost является алгоритмом агрегации ансамбля.

  • Поскольку метод агрегации ансамбля является повышающим алгоритмом, деревья классификации, которые позволяют максимум 10 разделений, составляют ансамбль.

  • Сто деревьев составляют ансамбль.

Используйте ансамбль классификации, чтобы предсказать метки случайного набора пяти наблюдений из данных. Сравните предсказанные метки с их истинными значениями.

rng(1) % For reproducibility
[pX,pIdx] = datasample(adultdata,5);
label = predict(Mdl1,pX);
table(label,adultdata.salary(pIdx),'VariableNames',{'Predicted','Truth'})
ans=5×2 table
    Predicted    Truth
    _________    _____

      <=50K      <=50K
      <=50K      <=50K
      <=50K      <=50K
      <=50K      <=50K
      <=50K      <=50K

Обучите новый ансамбль, использующий age и education только.

Mdl2 = fitcensemble(adultdata,'salary ~ age + education');

Сравните потери перезамены между Mdl1 и Mdl2.

rsLoss1 = resubLoss(Mdl1)
rsLoss1 = 0.1058
rsLoss2 = resubLoss(Mdl2)
rsLoss2 = 0.2037

misclassification уровень в выборке для ансамбля, который использует все предикторы, ниже.

Обучите ансамбль повышенных деревьев классификации при помощи fitcensemble. Уменьшайте учебное время путем определения 'NumBins' аргумент пары "имя-значение" интервалу числовые предикторы. Этот аргумент допустим только когда fitcensemble использует древовидного ученика. После обучения можно воспроизвести сгруппированные данные о предикторе при помощи BinEdges свойство обученной модели и discretize функция.

Сгенерируйте набор выборочных данных.

rng('default') % For reproducibility
N = 1e6;
X = [mvnrnd([-1 -1],eye(2),N); mvnrnd([1 1],eye(2),N)];
y = [zeros(N,1); ones(N,1)];

Визуализируйте набор данных.

figure
scatter(X(1:N,1),X(1:N,2),'Marker','.','MarkerEdgeAlpha',0.01)
hold on
scatter(X(N+1:2*N,1),X(N+1:2*N,2),'Marker','.','MarkerEdgeAlpha',0.01)

Обучите ансамбль повышенных деревьев классификации с помощью адаптивной логистической регрессии (LogitBoost, значение по умолчанию для бинарной классификации). Время функция в целях сравнения.

tic
Mdl1 = fitcensemble(X,y);
toc
Elapsed time is 478.988422 seconds.

Ускорьте обучение при помощи 'NumBins' аргумент пары "имя-значение". Если вы задаете 'NumBins' значение как положительный целочисленный скаляр, затем интервалы программного обеспечения каждый числовой предиктор в конкретное количество равновероятных интервалов, и затем выращивает деревья на индексах интервала вместо исходных данных. Программное обеспечение не делает интервала категориальные предикторы.

tic
Mdl2 = fitcensemble(X,y,'NumBins',50);
toc
Elapsed time is 165.598434 seconds.

Процесс приблизительно в три раза быстрее, когда вы используете сгруппированные данные вместо исходных данных. Обратите внимание на то, что прошедшее время может варьироваться в зависимости от вашей операционной системы.

Сравните ошибки классификации перезаменой.

rsLoss1 = resubLoss(Mdl1)
rsLoss1 = 0.0788
rsLoss2 = resubLoss(Mdl2)
rsLoss2 = 0.0788

В этом примере значения предиктора раскладывания уменьшают учебное время без потери точности. В общем случае, когда у вас есть большой набор данных как тот в этом примере, использование опции раскладывания ускоряет обучение, но вызывает потенциальное уменьшение в точности. Если вы хотите уменьшать учебное время далее, задайте меньшее число интервалов.

Воспроизведите сгруппированные данные о предикторе при помощи BinEdges свойство обученной модели и discretize функция.

X = Mdl2.X; % Predictor data
Xbinned = zeros(size(X));
edges = Mdl2.BinEdges;
% Find indices of binned predictors.
idxNumeric = find(~cellfun(@isempty,edges));
if iscolumn(idxNumeric)
    idxNumeric = idxNumeric';
end
for j = idxNumeric 
    x = X(:,j);
    % Convert x to array if x is a table.
    if istable(x)
        x = table2array(x);
    end
    % Group x into bins by using the discretize function.
    xbinned = discretize(x,[-inf; edges{j}; inf]);
    Xbinned(:,j) = xbinned;
end

Xbinned содержит индексы интервала, в пределах от 1 к количеству интервалов, для числовых предикторов. Xbinned значениями является 0 для категориальных предикторов. Если X содержит NaNs, затем соответствующий Xbinned значениями является NaNs.

Оцените ошибку обобщения ансамбля повышенных деревьев классификации.

Загрузите ionosphere набор данных.

load ionosphere

Перекрестный подтвердите ансамбль деревьев классификации с помощью AdaBoostM1 и 10-кратной перекрестной проверки. Укажите, что каждое дерево должно быть разделено максимум пяти раз с помощью шаблона дерева решений.

rng(5); % For reproducibility
t = templateTree('MaxNumSplits',5);
Mdl = fitcensemble(X,Y,'Method','AdaBoostM1','Learners',t,'CrossVal','on');

Mdl ClassificationPartitionedEnsemble модель.

Постройте совокупное, перекрестное подтвержденное 10-кратное, misclassification уровень. Отобразите предполагаемую ошибку обобщения ансамбля.

kflc = kfoldLoss(Mdl,'Mode','cumulative');
figure;
plot(kflc);
ylabel('10-fold Misclassification rate');
xlabel('Learning cycle');

Figure contains an axes. The axes contains an object of type line.

estGenError = kflc(end)
estGenError = 0.0769

kfoldLoss возвращает ошибку обобщения по умолчанию. Однако графический вывод совокупной потери позволяет вам контролировать, как потеря изменяется, когда слабые ученики накапливаются в ансамбле.

Ансамбль достигает misclassification уровня приблизительно 0,06 после накопления приблизительно 50 слабых учеников. Затем misclassification повышение ставки немного как более слабые ученики вводит ансамбль.

Если вы удовлетворены ошибкой обобщения ансамбля, то, чтобы создать прогнозную модель, обучают ансамбль, снова использующий все настройки кроме перекрестной проверки. Однако это - хорошая практика, чтобы настроить гиперпараметры, такие как максимальное количество разделений решения на дерево и количество изучения циклов.

Оптимизируйте гиперпараметры автоматически с помощью fitcensemble.

Загрузите ionosphere набор данных.

load ionosphere

Можно найти гиперпараметры, которые минимизируют пятикратную потерю перекрестной проверки при помощи автоматической гипероптимизации параметров управления.

Mdl = fitcensemble(X,Y,'OptimizeHyperparameters','auto')

В этом примере, для воспроизводимости, устанавливает случайный seed и используют 'expected-improvement-plus' функция приобретения. Кроме того, для воспроизводимости случайного лесного алгоритма задайте 'Reproducible' аргумент пары "имя-значение" как true для древовидных учеников.

rng('default')
t = templateTree('Reproducible',true);
Mdl = fitcensemble(X,Y,'OptimizeHyperparameters','auto','Learners',t, ...
    'HyperparameterOptimizationOptions',struct('AcquisitionFunctionName','expected-improvement-plus'))
|===================================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |       Method | NumLearningC-|    LearnRate |  MinLeafSize |
|      | result |             | runtime     | (observed)  | (estim.)    |              | ycles        |              |              |
|===================================================================================================================================|
|    1 | Best   |     0.10256 |      1.6978 |     0.10256 |     0.10256 |     RUSBoost |           11 |     0.010199 |           17 |
|    2 | Best   |    0.062678 |      9.4354 |    0.062678 |    0.064264 |   LogitBoost |          206 |      0.96537 |           33 |
|    3 | Accept |    0.099715 |       7.614 |    0.062678 |    0.062688 |   AdaBoostM1 |          130 |    0.0072814 |            2 |
|    4 | Accept |    0.068376 |      1.6045 |    0.062678 |    0.062681 |          Bag |           25 |            - |            5 |
|    5 | Accept |    0.065527 |      20.359 |    0.062678 |    0.062699 |   LogitBoost |          447 |       0.5405 |           13 |
|    6 | Accept |    0.074074 |      7.1054 |    0.062678 |      0.0627 |  GentleBoost |          157 |      0.60495 |          108 |
|    7 | Accept |    0.082621 |      0.9688 |    0.062678 |    0.064102 |  GentleBoost |           19 |    0.0010515 |           42 |
|    8 | Accept |     0.17379 |     0.49564 |    0.062678 |     0.06268 |   LogitBoost |           10 |     0.001079 |          149 |
|    9 | Accept |    0.076923 |      21.003 |    0.062678 |    0.062676 |  GentleBoost |          468 |     0.035181 |            2 |
|   10 | Accept |    0.068376 |      13.575 |    0.062678 |    0.062676 |   AdaBoostM1 |          221 |      0.99976 |            7 |
|   11 | Accept |     0.10541 |      3.6394 |    0.062678 |    0.062676 |     RUSBoost |           59 |      0.99629 |           31 |
|   12 | Accept |    0.068376 |      3.3423 |    0.062678 |    0.062674 |   AdaBoostM1 |           53 |      0.20568 |           26 |
|   13 | Accept |    0.096866 |      1.6005 |    0.062678 |    0.062672 |     RUSBoost |           22 |    0.0010042 |            2 |
|   14 | Accept |    0.071225 |       1.201 |    0.062678 |    0.062688 |   LogitBoost |           23 |      0.99624 |            1 |
|   15 | Accept |    0.082621 |     0.87944 |    0.062678 |    0.062687 |   AdaBoostM1 |           11 |      0.95241 |            2 |
|   16 | Accept |    0.079772 |      29.788 |    0.062678 |    0.062679 |   AdaBoostM1 |          486 |      0.23903 |           35 |
|   17 | Accept |     0.35897 |      23.651 |    0.062678 |     0.06267 |          Bag |          499 |            - |          169 |
|   18 | Accept |    0.074074 |       0.653 |    0.062678 |    0.062674 |          Bag |           10 |            - |            1 |
|   19 | Accept |    0.088319 |      32.811 |    0.062678 |    0.062674 |     RUSBoost |          498 |    0.0010437 |            3 |
|   20 | Accept |    0.068376 |      6.1279 |    0.062678 |    0.062673 |  GentleBoost |          130 |    0.0010021 |            3 |
|===================================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   |       Method | NumLearningC-|    LearnRate |  MinLeafSize |
|      | result |             | runtime     | (observed)  | (estim.)    |              | ycles        |              |              |
|===================================================================================================================================|
|   21 | Accept |     0.17379 |      22.601 |    0.062678 |     0.06271 |   LogitBoost |          496 |    0.0010096 |          146 |
|   22 | Accept |    0.071225 |      2.9727 |    0.062678 |    0.062713 |  GentleBoost |           71 |      0.91141 |            9 |
|   23 | Accept |     0.64103 |      1.1288 |    0.062678 |    0.062706 |     RUSBoost |           20 |    0.0012846 |          173 |
|   24 | Accept |     0.11111 |       1.537 |    0.062678 |    0.062697 |     RUSBoost |           24 |      0.96694 |            6 |
|   25 | Accept |     0.17379 |      5.5632 |    0.062678 |    0.062686 |   LogitBoost |          136 |        0.001 |            3 |
|   26 | Accept |     0.35897 |      8.0556 |    0.062678 |    0.062686 |   AdaBoostM1 |          156 |     0.003243 |          174 |
|   27 | Accept |    0.065527 |      1.0791 |    0.062678 |    0.062686 |          Bag |           21 |            - |            2 |
|   28 | Accept |     0.17379 |      1.7562 |    0.062678 |    0.062689 |   LogitBoost |           42 |    0.0010283 |           21 |
|   29 | Accept |    0.074074 |      4.3825 |    0.062678 |    0.062689 |  GentleBoost |          108 |    0.0010055 |          173 |
|   30 | Accept |    0.065527 |      1.4893 |    0.062678 |    0.062689 |   LogitBoost |           32 |      0.97832 |            4 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 278.5509 seconds.
Total objective function evaluation time: 238.1176

Best observed feasible point:
      Method      NumLearningCycles    LearnRate    MinLeafSize
    __________    _________________    _________    ___________

    LogitBoost           206            0.96537         33     

Observed objective function value = 0.062678
Estimated objective function value = 0.062689
Function evaluation time = 9.4354

Best estimated feasible point (according to models):
      Method      NumLearningCycles    LearnRate    MinLeafSize
    __________    _________________    _________    ___________

    LogitBoost           206            0.96537         33     

Estimated objective function value = 0.062689
Estimated function evaluation time = 9.4324
Mdl = 
  ClassificationEnsemble
                         ResponseName: 'Y'
                CategoricalPredictors: []
                           ClassNames: {'b'  'g'}
                       ScoreTransform: 'none'
                      NumObservations: 351
    HyperparameterOptimizationResults: [1×1 BayesianOptimization]
                           NumTrained: 206
                               Method: 'LogitBoost'
                         LearnerNames: {'Tree'}
                 ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
                              FitInfo: [206×1 double]
                   FitInfoDescription: {2×1 cell}


  Properties, Methods

Оптимизация, искавшая по методам агрегации ансамбля бинарную классификацию, по NumLearningCycles, по LearnRate для применимых методов, и по древовидному ученику MinLeafSize. Выход является классификатором ансамбля с минимальной предполагаемой потерей перекрестной проверки.

Один способ создать ансамбль повышенных деревьев классификации, который имеет удовлетворительную прогнозирующую эффективность, путем настройки уровня сложности дерева решений с помощью перекрестной проверки. При поиске оптимального уровня сложности настройте скорость обучения, чтобы минимизировать количество изучения циклов.

Этот пример вручную находит оптимальные параметры при помощи опции перекрестной проверки ('KFold' аргумент пары "имя-значение") и kfoldLoss функция. В качестве альтернативы можно использовать 'OptimizeHyperparameters' аргумент пары "имя-значение", чтобы оптимизировать гиперпараметры автоматически. Смотрите Оптимизируют Ансамбль Классификации.

Загрузите ionosphere набор данных.

load ionosphere

Искать оптимальный уровень древовидной сложности:

  1. Перекрестный подтвердите набор ансамблей. Экспоненциально увеличьте уровень древовидной сложности для последующих ансамблей от пня решения (одно разделение) к в большей части n - 1 разделение. n является объемом выборки. Кроме того, варьируйтесь скорость обучения для каждого ансамбля между 0,1 к 1.

  2. Оцените перекрестный подтвержденный misclassification уровень каждого ансамбля.

  3. Для уровня древовидной сложности j, j=1...J, сравните совокупный, перекрестный подтвержденный misclassification уровень ансамблей путем графического вывода их против количества изучения циклов. Постройте отдельные кривые для каждой скорости обучения на той же фигуре.

  4. Выберите кривую, которая достигает минимального misclassification уровня, и отметьте соответствующий цикл изучения и скорость обучения.

Перекрестный подтвердите глубокое дерево классификации и пень. Эти деревья классификации служат сравнительными тестами.

rng(1) % For reproducibility
MdlDeep = fitctree(X,Y,'CrossVal','on','MergeLeaves','off', ...
    'MinParentSize',1);
MdlStump = fitctree(X,Y,'MaxNumSplits',1,'CrossVal','on');

Перекрестный подтвердите ансамбль 150 повышенных деревьев классификации с помощью 5-кратной перекрестной проверки. Используя древовидный шаблон, варьируйтесь максимальное количество разделений с помощью значений в последовательности {30,31,...,3m}. m таков что 3m не больше, чем n - 1. Для каждого варианта настройте скорость обучения с помощью каждого значения в наборе {0.1, 0.25, 0.5, 1};

n = size(X,1);
m = floor(log(n - 1)/log(3));
learnRate = [0.1 0.25 0.5 1];
numLR = numel(learnRate);
maxNumSplits = 3.^(0:m);
numMNS = numel(maxNumSplits);
numTrees = 150;
Mdl = cell(numMNS,numLR);

for k = 1:numLR
    for j = 1:numMNS
        t = templateTree('MaxNumSplits',maxNumSplits(j));
        Mdl{j,k} = fitcensemble(X,Y,'NumLearningCycles',numTrees,...
            'Learners',t,'KFold',5,'LearnRate',learnRate(k));
    end
end

Оцените совокупный, перекрестный подтвержденный misclassification уровень для каждого ансамбля и деревьев классификации, служащих сравнительными тестами.

kflAll = @(x)kfoldLoss(x,'Mode','cumulative');
errorCell = cellfun(kflAll,Mdl,'Uniform',false);
error = reshape(cell2mat(errorCell),[numTrees numel(maxNumSplits) numel(learnRate)]);
errorDeep = kfoldLoss(MdlDeep);
errorStump = kfoldLoss(MdlStump);

Постройте, как перекрестный подтвержденный misclassification уровень ведет себя как количество деревьев в увеличениях ансамбля. Постройте кривые относительно скорости обучения на том же графике и постройте отдельные графики для различных уровней древовидной сложности. Выберите подмножество древовидных уровней сложности, чтобы построить.

mnsPlot = [1 round(numel(maxNumSplits)/2) numel(maxNumSplits)];
figure
for k = 1:3
    subplot(2,2,k)
    plot(squeeze(error(:,mnsPlot(k),:)),'LineWidth',2)
    axis tight
    hold on
    h = gca;
    plot(h.XLim,[errorDeep errorDeep],'-.b','LineWidth',2)
    plot(h.XLim,[errorStump errorStump],'-.r','LineWidth',2)
    plot(h.XLim,min(min(error(:,mnsPlot(k),:))).*[1 1],'--k')
    h.YLim = [0 0.2];    
    xlabel('Number of trees')
    ylabel('Cross-validated misclass. rate')
    title(sprintf('MaxNumSplits = %0.3g', maxNumSplits(mnsPlot(k))))
    hold off
end
hL = legend([cellstr(num2str(learnRate','Learning Rate = %0.2f')); ...
        'Deep Tree';'Stump';'Min. misclass. rate']);
hL.Position(1) = 0.6;

Каждая кривая содержит минимум перекрестный подтвержденный misclassification уровень, происходящий в оптимальном количестве деревьев в ансамбле.

Идентифицируйте максимальное количество разделений, количество деревьев и скорость обучения, которая дает к самому низкому misclassification уровню в целом.

[minErr,minErrIdxLin] = min(error(:));
[idxNumTrees,idxMNS,idxLR] = ind2sub(size(error),minErrIdxLin);

fprintf('\nMin. misclass. rate = %0.5f',minErr)
Min. misclass. rate = 0.05413
fprintf('\nOptimal Parameter Values:\nNum. Trees = %d',idxNumTrees);
Optimal Parameter Values:
Num. Trees = 47
fprintf('\nMaxNumSplits = %d\nLearning Rate = %0.2f\n',...
    maxNumSplits(idxMNS),learnRate(idxLR))
MaxNumSplits = 3
Learning Rate = 0.25

Создайте прогнозирующий ансамбль на основе оптимальных гиперпараметров и целого набора обучающих данных.

tFinal = templateTree('MaxNumSplits',maxNumSplits(idxMNS));
MdlFinal = fitcensemble(X,Y,'NumLearningCycles',idxNumTrees,...
    'Learners',tFinal,'LearnRate',learnRate(idxLR))
MdlFinal = 
  ClassificationEnsemble
             ResponseName: 'Y'
    CategoricalPredictors: []
               ClassNames: {'b'  'g'}
           ScoreTransform: 'none'
          NumObservations: 351
               NumTrained: 47
                   Method: 'LogitBoost'
             LearnerNames: {'Tree'}
     ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
                  FitInfo: [47×1 double]
       FitInfoDescription: {2×1 cell}


  Properties, Methods

MdlFinal ClassificationEnsemble. Чтобы предсказать, является ли радарный возврат хорошими данными данными о предикторе, можно передать данные о предикторе и MdlFinal к predict.

Вместо того, чтобы искать оптимальные значения вручную при помощи опции перекрестной проверки ('KFold') и kfoldLoss функция, можно использовать 'OptimizeHyperparameters' аргумент пары "имя-значение". Когда вы задаете 'OptimizeHyperparameters', программное обеспечение находит оптимальные параметры автоматически с помощью Байесовой оптимизации. Оптимальные значения получены при помощи 'OptimizeHyperparameters' может отличаться от тех полученный поиск руководства использования.

mdl = fitcensemble(X,Y,'OptimizeHyperparameters',{'NumLearningCycles','LearnRate','MaxNumSplits'})
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | NumLearningC-|    LearnRate | MaxNumSplits |
|      | result |             | runtime     | (observed)  | (estim.)    | ycles        |              |              |
|====================================================================================================================|
|    1 | Best   |     0.17379 |      6.2592 |     0.17379 |     0.17379 |          137 |     0.001364 |            3 |
|    2 | Accept |     0.17379 |     0.79961 |     0.17379 |     0.17379 |           15 |     0.013089 |          144 |
|    3 | Best   |    0.065527 |      1.4585 |    0.065527 |    0.065538 |           31 |      0.47201 |            2 |
|    4 | Accept |    0.074074 |      13.988 |    0.065527 |    0.065549 |          340 |      0.92167 |            7 |
|    5 | Accept |    0.088319 |     0.92718 |    0.065527 |    0.072102 |           22 |       0.2432 |            1 |
|    6 | Accept |    0.074074 |     0.44748 |    0.065527 |    0.071237 |           10 |       0.7177 |           48 |
|    7 | Accept |     0.08547 |     0.52207 |    0.065527 |    0.074847 |           10 |      0.57238 |            2 |
|    8 | Accept |    0.074074 |     0.59154 |    0.065527 |    0.065556 |           11 |      0.97207 |            3 |
|    9 | Best   |    0.059829 |      1.6809 |    0.059829 |    0.059648 |           42 |      0.92135 |          343 |
|   10 | Best   |    0.054131 |      2.2481 |    0.054131 |    0.054148 |           49 |      0.97807 |           37 |
|   11 | Accept |    0.065527 |      2.1686 |    0.054131 |    0.059479 |           48 |       0.9996 |            2 |
|   12 | Accept |    0.068376 |      2.5909 |    0.054131 |    0.061923 |           58 |      0.91401 |          323 |
|   13 | Accept |     0.17379 |     0.48621 |    0.054131 |    0.062113 |           10 |    0.0010045 |            4 |
|   14 | Accept |     0.17379 |     0.55949 |    0.054131 |    0.059231 |           10 |     0.059072 |          148 |
|   15 | Accept |    0.065527 |      1.9568 |    0.054131 |    0.062559 |           46 |      0.76657 |           19 |
|   16 | Accept |    0.065527 |      2.5692 |    0.054131 |    0.062807 |           57 |      0.64443 |          311 |
|   17 | Accept |     0.17379 |     0.55723 |    0.054131 |    0.062748 |           10 |    0.0035012 |            2 |
|   18 | Accept |     0.12821 |      1.9669 |    0.054131 |    0.062043 |           47 |     0.055757 |          197 |
|   19 | Accept |     0.05698 |      1.2814 |    0.054131 |    0.060837 |           27 |      0.98997 |           12 |
|   20 | Accept |    0.059829 |      1.1975 |    0.054131 |    0.060881 |           26 |      0.99112 |           13 |
|====================================================================================================================|
| Iter | Eval   | Objective   | Objective   | BestSoFar   | BestSoFar   | NumLearningC-|    LearnRate | MaxNumSplits |
|      | result |             | runtime     | (observed)  | (estim.)    | ycles        |              |              |
|====================================================================================================================|
|   21 | Accept |    0.065527 |      1.2255 |    0.054131 |    0.061441 |           25 |      0.99183 |            9 |
|   22 | Accept |     0.17379 |      1.3748 |    0.054131 |    0.061461 |           29 |    0.0032434 |          344 |
|   23 | Accept |    0.068376 |       3.055 |    0.054131 |    0.061768 |           67 |      0.18672 |           11 |
|   24 | Accept |    0.059829 |      5.0035 |    0.054131 |    0.061785 |          119 |       0.3125 |            1 |
|   25 | Accept |    0.059829 |      7.6141 |    0.054131 |    0.061793 |          176 |      0.25401 |          304 |
|   26 | Accept |    0.059829 |      5.1133 |    0.054131 |     0.05988 |          115 |      0.34331 |          343 |
|   27 | Accept |    0.059829 |      7.4027 |    0.054131 |    0.059895 |          178 |      0.26684 |           13 |
|   28 | Accept |    0.059829 |      5.2506 |    0.054131 |    0.059872 |          118 |      0.32365 |            3 |
|   29 | Accept |    0.062678 |      10.523 |    0.054131 |    0.059871 |          238 |      0.22465 |            1 |
|   30 | Accept |     0.14815 |     0.57384 |    0.054131 |    0.059705 |           10 |      0.15205 |            2 |

__________________________________________________________
Optimization completed.
MaxObjectiveEvaluations of 30 reached.
Total function evaluations: 30
Total elapsed time: 122.7983 seconds.
Total objective function evaluation time: 91.3933

Best observed feasible point:
    NumLearningCycles    LearnRate    MaxNumSplits
    _________________    _________    ____________

           49             0.97807          37     

Observed objective function value = 0.054131
Estimated objective function value = 0.062545
Function evaluation time = 2.2481

Best estimated feasible point (according to models):
    NumLearningCycles    LearnRate    MaxNumSplits
    _________________    _________    ____________

           119            0.3125           1      

Estimated objective function value = 0.059705
Estimated function evaluation time = 5.1842
mdl = 
  ClassificationEnsemble
                         ResponseName: 'Y'
                CategoricalPredictors: []
                           ClassNames: {'b'  'g'}
                       ScoreTransform: 'none'
                      NumObservations: 351
    HyperparameterOptimizationResults: [1×1 BayesianOptimization]
                           NumTrained: 119
                               Method: 'LogitBoost'
                         LearnerNames: {'Tree'}
                 ReasonForTermination: 'Terminated normally after completing the requested number of training cycles.'
                              FitInfo: [119×1 double]
                   FitInfoDescription: {2×1 cell}


  Properties, Methods

Входные параметры

свернуть все

Выборочные данные раньше обучали модель в виде таблицы. Каждая строка Tbl соответствует одному наблюдению, и каждый столбец соответствует одному переменному предиктору. Tbl может содержать один дополнительный столбец для переменной отклика. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не позволены.

  • Если Tbl содержит переменную отклика, и вы хотите использовать все остающиеся переменные в качестве предикторов, затем задать переменную отклика с помощью ResponseVarName.

  • Если Tbl содержит переменную отклика, и вы хотите использовать подмножество остающихся переменных только как предикторы, затем задать формулу с помощью formula.

  • Если Tbl не содержит переменную отклика, затем задает данные об ответе с помощью Y. Длина переменной отклика и количество строк Tbl должно быть равным.

Примечание

Чтобы сохранить память и время выполнения, предоставьте X и Y вместо Tbl.

Типы данных: table

Имя переменной отклика в виде имени переменной отклика в Tbl.

Необходимо задать ResponseVarName как вектор символов или строковый скаляр. Например, если Tbl.Y переменная отклика, затем задайте ResponseVarName как 'Y'. В противном случае, fitcensemble обработки все столбцы Tbl как переменные предикторы.

Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Для классификации можно задать порядок классов с помощью ClassNames аргумент пары "имя-значение". В противном случае, fitcensemble определяет порядок класса и хранит его в Mdl.ClassNames.

Типы данных: char | string

Объяснительная модель переменной отклика и подмножество переменных предикторов в виде вектора символов или строкового скаляра в форме 'Y~x1+x2+x3'. В этой форме, Y представляет переменную отклика и x1x2 , и x3 представляйте переменные предикторы.

Задавать подмножество переменных в Tbl как предикторы для обучения модель, используйте формулу. Если вы задаете формулу, то программное обеспечение не использует переменных в Tbl это не появляется в formula.

Имена переменных в формуле должны быть оба именами переменных в Tbl (Tbl.Properties.VariableNames) и допустимые идентификаторы MATLAB®. Можно проверить имена переменных в Tbl при помощи isvarname функция. Если имена переменных не допустимы, то можно преобразовать их при помощи matlab.lang.makeValidName функция.

Типы данных: char | string

Данные о предикторе в виде числовой матрицы.

Каждая строка соответствует одному наблюдению, и каждый столбец соответствует одному переменному предиктору.

Длина Y и количество строк X должно быть равным.

Задавать имена предикторов в порядке их внешнего вида в X, используйте PredictorNames аргумент пары "имя-значение".

Типы данных: single | double

Данные об ответе в виде категориального, символа, или массива строк, логического или числового вектора или массива ячеек из символьных векторов. Каждая запись в Y ответ на или метка для наблюдения в соответствующей строке X или Tbl. Длина Y и количество строк X или Tbl должно быть равным. Если переменная отклика является символьным массивом, то каждый элемент должен соответствовать одной строке массива.

Можно задать порядок классов с помощью ClassNames аргумент пары "имя-значение". В противном случае, fitcensemble определяет порядок класса и хранит его в Mdl.ClassNames.

Типы данных: categorical | char | string | logical | single | double | cell

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'CrossVal','on','LearnRate',0.05 задает, чтобы реализовать 10-кратную перекрестную проверку и использовать 0.05 как скорость обучения.

Примечание

Вы не можете использовать аргумент пары "имя-значение" перекрестной проверки наряду с 'OptimizeHyperparameters' аргумент пары "имя-значение". Можно изменить перекрестную проверку для 'OptimizeHyperparameters' только при помощи 'HyperparameterOptimizationOptions' аргумент пары "имя-значение".

Общие опции ансамбля

свернуть все

Метод агрегации ансамбля в виде разделенной запятой пары, состоящей из 'Method' и одно из следующих значений.

ЗначениеМетодПроблемная поддержка классификацииСвязанные Аргументы в виде пар имя-значение
'Bag'Загрузите агрегацию (укладывание в мешки, например, случайный лес [2]) — Если 'Method' 'Bag'то fitcensemble использование, висящее как мешок со случайными выборами предиктора в каждом разделении (случайный лес) по умолчанию. Чтобы использовать укладывание в мешки без случайных выборов, используйте древовидных учеников чей 'NumVariablesToSample' значением является 'all' или используйте учеников дискриминантного анализа.Двоичный файл и мультиклассНет данных
'Subspace'Случайное подпространствоДвоичный файл и мультиклассNPredToSample
'AdaBoostM1'Адаптивное повышениеДвоичный файл толькоLearnRate
'AdaBoostM2'Адаптивное повышениеМультикласс толькоLearnRate
'GentleBoost'Нежное адаптивное повышениеДвоичный файл толькоLearnRate
'LogitBoost'Адаптивная логистическая регрессияДвоичный файл толькоLearnRate
'LPBoost'Линейное повышение программирования — Требует Optimization Toolbox™Двоичный файл и мультиклассMarginPrecision
'RobustBoost'Устойчивое повышение — Требует Optimization ToolboxДвоичный файл толькоRobustErrorGoal, RobustMarginSigma, RobustMaxMargin
'RUSBoost'Случайное повышение субдискретизацииДвоичный файл и мультиклассLearnRate, RatioToSmallest
'TotalBoost'Полностью корректирующее повышение — Требует Optimization ToolboxДвоичный файл и мультиклассMarginPrecision

Можно задать опции выборки (FResampleзаменапередискретизация) для обучающих данных, когда вы используете укладывание в мешки ('Bag') или повышение ('TotalBoost', 'RUSBoost', 'AdaBoostM1', 'AdaBoostM2', 'GentleBoost', 'LogitBoost', 'RobustBoost', или 'LPBoost').

Значения по умолчанию:

  • 'LogitBoost' для бинарных проблем и 'AdaBoostM2' для проблем мультикласса, если 'Learners' включает только древовидных учеников

  • 'AdaBoostM1' для бинарных проблем и 'AdaBoostM2' для проблем мультикласса, если 'Learners' включает и учеников древовидного и дискриминантного анализа

  • 'Subspace' если 'Learners' не включает древовидных учеников

Для получения дополнительной информации об алгоритмах агрегации ансамбля и примерах, см. Алгоритмы, Советы, Алгоритмы Ансамбля, и Выберите Applicable Ensemble Aggregation Method.

Пример: 'Method','Bag'

Количество ансамбля, изучающего циклы в виде разделенной запятой пары, состоящей из 'NumLearningCycles' и положительное целое число или 'AllPredictorCombinations'.

  • Если вы задаете положительное целое число, то в каждом цикле изучения программное обеспечение обучает одного слабого ученика каждому объекту шаблона в Learners. Следовательно, программное обеспечение обучает NumLearningCycles*numel(Learners) ученики.

  • Если вы задаете 'AllPredictorCombinations', затем установите Method к 'Subspace' и задайте одного ученика только для Learners. С этими настройками программное обеспечение обучает учеников всем возможным комбинациям предикторов взятый NPredToSample за один раз. Следовательно, программное обеспечение обучается nchoosek(size(X,2),NPredToSample) ученики.

Программное обеспечение составляет ансамбль, использующий всех обученных учеников, и хранит их в Mdl.Trained.

Для получения дополнительной информации смотрите Советы.

Пример: 'NumLearningCycles',500

Типы данных: single | double | char | string

Слабые ученики, чтобы использовать в ансамбле в виде разделенной запятой пары, состоящей из 'Learners' и имя слабого ученика, объект шаблона слабого ученика или вектор ячейки из объектов шаблона слабого ученика.

Слабый ученикИмя слабого ученикаФункция создания объекта шаблонаMethod Установка
Дискриминантный анализ'discriminant'templateDiscriminantРекомендуемый для 'Subspace'
k- соседи'knn'templateKNNДля 'Subspace' только
Дерево решений'tree'templateTreeВсе методы кроме 'Subspace'

  • Имя слабого ученика ('discriminant', 'knn', или 'tree') — fitcensemble использует слабых учеников, созданных функцией создания объекта шаблона с настройками по умолчанию. Например, определение 'Learners','discriminant' совпадает с определением 'Learners',templateDiscriminant(). Смотрите, что создание объекта шаблона функционирует страницы для настроек по умолчанию слабого ученика.

  • Объект шаблона слабого ученика — fitcensemble использует слабых учеников, созданных функцией создания объекта шаблона. Используйте аргументы пары "имя-значение" функции создания объекта шаблона, чтобы задать настройки слабых учеников.

  • Вектор ячейки из объектов шаблона слабого ученика mfitcensemble выращивает учеников m на изучение цикла (см. NumLearningCycles). Например, для ансамбля, состоявшего из двух типов деревьев классификации, предоставьте {t1 t2}, где t1 и t2 объекты шаблона дерева классификации, возвращенные templateTree.

'Learners' по умолчанию значением является 'knn' если 'Method' 'Subspace'.

'Learners' по умолчанию значением является 'tree' если 'Method' 'Bag' или любой повышающий метод. Значения по умолчанию templateTree() зависьте от значения 'Method'.

  • Для сложенных в мешок деревьев решений, максимального количества разделений решения ('MaxNumSplits') n–1, где n количество наблюдений. Количество предикторов, чтобы выбрать наугад для каждого разделения ('NumVariablesToSample') квадратный корень из количества предикторов. Поэтому fitcensemble выращивает глубокие деревья решений. Можно вырастить более мелкие деревья, чтобы уменьшать сложность модели или время вычисления.

  • Для повышенных деревьев решений, 'MaxNumSplits' 10 и 'NumVariablesToSample' 'all'. Поэтому fitcensemble выращивает мелкие деревья решений. Можно вырастить более глубокие деревья для лучшей точности.

Смотрите templateTree для настроек по умолчанию слабого ученика. Чтобы получить восстанавливаемые результаты, необходимо задать 'Reproducible' аргумент пары "имя-значение" templateTree как true если 'NumVariablesToSample' не 'all'.

Для получения дополнительной информации на количестве учеников, чтобы обучаться, смотрите NumLearningCycles и Советы.

Пример: 'Learners',templateTree('MaxNumSplits',5)

Частота распечатки в виде разделенной запятой пары, состоящей из 'NPrint' и положительное целое число или 'off'.

Отслеживать количество слабых учеников или сгибов это fitcensemble обученный до сих пор, задайте положительное целое число. Таким образом, если вы задаете положительный целочисленный m:

  • Также не задавая опции перекрестной проверки (например, CrossValто fitcensemble отображает сообщение к командной строке каждый раз, когда она завершает учебный m слабые ученики.

  • И опция перекрестной проверки, затем fitcensemble отображает сообщение к командной строке каждый раз, когда она закончила учебные сгибы m.

Если вы задаете 'off'то fitcensemble не отображает сообщение, когда оно завершает учебных слабых учеников.

Совет

Для самого быстрого обучения некоторых повышенных деревьев решений, набор NPrint к значению по умолчанию 'off'. Этот совет содержит когда классификация Method 'AdaBoostM1', 'AdaBoostM2', 'GentleBoost', или 'LogitBoost', или когда регрессия Method 'LSBoost'.

Пример: 'NPrint',5

Типы данных: single | double | char | string

Количество интервалов для числовых предикторов в виде разделенной запятой пары, состоящей из 'NumBins' и положительный целочисленный скаляр. Этот аргумент допустим только когда fitcensemble использует древовидного ученика, то есть, 'Learners' любой 'tree' или объект шаблона, созданный при помощи templateTree.

  • Если 'NumBins' значение пусто (значение по умолчанию), затем fitcensemble не делает интервала никакие предикторы.

  • Если вы задаете 'NumBins' значение как положительный целочисленный скаляр (numBinsто fitcensemble интервалы каждый числовой предиктор в в большей части numBins равновероятные интервалы, и затем выращивают деревья на индексах интервала вместо исходных данных.

    • Количество интервалов может быть меньше numBins если предиктор имеет меньше, чем numBins уникальные значения.

    • fitcensemble не делает интервала категориальные предикторы.

Когда вы используете большой обучающий набор данных, эта опция раскладывания ускоряет обучение, но может вызвать потенциальное уменьшение в точности. Можно попробовать 'NumBins',50 во-первых, и затем измените значение в зависимости от точности и учебной скорости.

Обученная модель хранит границы интервала в BinEdges свойство.

Пример: 'NumBins',50

Типы данных: single | double

Категориальные предикторы перечисляют в виде одного из значений в этой таблице.

ЗначениеОписание
Вектор из положительных целых чисел

Каждая запись в векторе является значением индекса, соответствующим столбцу данных о предикторе, которые содержат категориальную переменную. Значения индекса между 1 и p, где p количество предикторов, используемых, чтобы обучить модель.

Если fitcensemble использует подмножество входных переменных как предикторы, затем функция индексирует предикторы с помощью только подмножество. 'CategoricalPredictors' значения не считают переменную отклика, переменную веса наблюдения и любые другие переменные, которые не использует функция.

Логический вектор

true запись означает, что соответствующий столбец данных о предикторе является категориальной переменной. Длиной вектора является p.

Символьная матрицаКаждая строка матрицы является именем переменного предиктора. Имена должны совпадать с записями в PredictorNames. Заполните имена дополнительными пробелами, таким образом, каждая строка символьной матрицы имеет ту же длину.
Массив строк или массив ячеек из символьных векторовКаждым элементом в массиве является имя переменного предиктора. Имена должны совпадать с записями в PredictorNames.
'all'Все предикторы являются категориальными.

Спецификация 'CategoricalPredictors' является соответствующим если:

  • 'Learners' задает древовидных учеников.

  • 'Learners' задает k - самые близкие ученики, где все предикторы являются категориальными.

Каждый ученик идентифицирует и обрабатывает категориальные предикторы таким же образом как подходящую функцию, соответствующую ученику. Смотрите 'CategoricalPredictors' из fitcknn для k - самые близкие ученики и 'CategoricalPredictors' из fitctree для древовидных учеников.

Пример: 'CategoricalPredictors','all'

Типы данных: single | double | logical | char | string | cell

Переменный предиктор называет в виде массива строк уникальных имен или массива ячеек уникальных векторов символов. Функциональность PredictorNames зависит от способа, которым вы снабжаете обучающими данными.

  • Если вы предоставляете X и Y, затем можно использовать PredictorNames присваивать имена к переменным предикторам в X.

    • Порядок имен в PredictorNames должен соответствовать порядку следования столбцов X. Таким образом, PredictorNames{1} имя X(:,1), PredictorNames{2} имя X(:,2), и так далее. Кроме того, size(X,2) и numel(PredictorNames) должно быть равным.

    • По умолчанию, PredictorNames {'x1','x2',...}.

  • Если вы предоставляете Tbl, затем можно использовать PredictorNames выбрать который переменные предикторы использовать в обучении. Таким образом, fitcensemble использование только переменные предикторы в PredictorNames и переменная отклика во время обучения.

    • PredictorNames должно быть подмножество Tbl.Properties.VariableNames и не может включать имя переменной отклика.

    • По умолчанию, PredictorNames содержит имена всех переменных предикторов.

    • Хорошая практика должна задать предикторы для обучения с помощью любого 'PredictorNames' или formula, но не то и другое одновременно.

Пример: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

Типы данных: string | cell

Имя переменной отклика в виде вектора символов или строкового скаляра.

  • Если вы предоставляете Y, затем можно использовать 'ResponseName' задавать имя для переменной отклика.

  • Если вы предоставляете ResponseVarName или formula, затем вы не можете использовать 'ResponseName'.

Пример: 'ResponseName','response'

Типы данных: char | string

Параллельные опции

свернуть все

Опции для вычисления в параллели и установки случайных чисел в виде структуры. Создайте Options структура с statset.

Примечание

Вам нужен Parallel Computing Toolbox™, чтобы вычислить параллельно.

Эта таблица приводит поля опции и их значения.

Имя поляЗначениеЗначение по умолчанию
UseParallel

Установите это значение к true вычислить параллельно. Параллельное обучение ансамбля требует, чтобы вы установили 'Method' аргумент значения имени к 'Bag'. Параллельное обучение доступно только древовидным ученикам, типу по умолчанию для 'Bag'.

false
UseSubstreams

Установите это значение к true запускать расчеты параллельно восстанавливаемым способом.

Чтобы вычислить восстанавливаемо, установите Streams к типу, который позволяет подпотоки: 'mlfg6331_64' или 'mrg32k3a'. Кроме того, используйте древовидный шаблон с 'Reproducible' набор аргумента значения имени к true. Смотрите воспроизводимость в параллельных статистических расчетах.

false
StreamsЗадайте это значение как a RandStream объектный массив или массив ячеек таких объектов. Используйте отдельный объект кроме тех случаев, когда UseParallel значением является true и UseSubstreams значением является false. В этом случае используйте массив ячеек, который имеет тот же размер как параллельный пул.Если вы не задаете Streamsто fitcensemble использует поток по умолчанию или потоки.

Для примера с помощью восстанавливаемого параллельного обучения смотрите, Обучают Ансамбль Классификации параллельно.

Для двухъядерных систем и выше, fitcensemble параллелизирует обучение с помощью Intel® Threading Building Blocks (TBB). Поэтому определение UseParallel опция как true не может обеспечить значительное ускорение на одиночном компьютере. Для получения дополнительной информации на Intel TBB, см. https://software.intel.com/en-us/intel-tbb.

Пример: 'Options',statset('UseParallel',true)

Типы данных: struct

Опции перекрестной проверки

свернуть все

Флаг перекрестной проверки в виде разделенной запятой пары, состоящей из 'Crossval' и 'on' или 'off'.

Если вы задаете 'on', затем программное обеспечение реализует 10-кратную перекрестную проверку.

Чтобы заменить эту установку перекрестной проверки, используйте один из этих аргументов пары "имя-значение": CVPartition, Holdout, KFold, или Leaveout. Чтобы создать перекрестную подтвержденную модель, можно использовать один аргумент пары "имя-значение" перекрестной проверки за один раз только.

В качестве альтернативы перекрестный подтвердите позже путем передачи Mdl к crossval или crossval.

Пример: 'Crossval','on'

Раздел перекрестной проверки в виде cvpartition объект раздела, созданный cvpartition. Объект раздела задает тип перекрестной проверки и индексации для наборов обучения и валидации.

Чтобы создать перекрестную подтвержденную модель, можно задать только один из этих четырех аргументов значения имени: CVPartition, Holdout, KFold, или Leaveout.

Пример: Предположим, что вы создаете случайный раздел для 5-кратной перекрестной проверки на 500 наблюдениях при помощи cvp = cvpartition(500,'KFold',5). Затем можно задать перекрестную подтвержденную модель при помощи 'CVPartition',cvp.

Часть данных, используемых для валидации затяжки в виде скалярного значения в области значений (0,1). Если вы задаете 'Holdout',p, затем программное обеспечение завершает эти шаги:

  1. Случайным образом выберите и зарезервируйте p*100% из данных как данные о валидации, и обучают модель с помощью остальной части данных.

  2. Сохраните компактную, обученную модель в Trained свойство перекрестной подтвержденной модели.

Чтобы создать перекрестную подтвержденную модель, можно задать только один из этих четырех аргументов значения имени: CVPartition, Holdout, KFold, или Leaveout.

Пример: 'Holdout',0.1

Типы данных: double | single

Количество сгибов, чтобы использовать в перекрестной подтвержденной модели в виде положительного целочисленного значения, больше, чем 1. Если вы задаете 'KFold',k, затем программное обеспечение завершает эти шаги:

  1. Случайным образом разделите данные в k наборы.

  2. Для каждого набора зарезервируйте набор как данные о валидации и обучите модель с помощью другого k – 1 набор.

  3. Сохраните k компактные, обученные модели в k- 1 вектор ячейки в Trained свойство перекрестной подтвержденной модели.

Чтобы создать перекрестную подтвержденную модель, можно задать только один из этих четырех аргументов значения имени: CVPartition, Holdout, KFold, или Leaveout.

Пример: 'KFold',5

Типы данных: single | double

Флаг перекрестной проверки "Пропускает один" в виде 'on' или 'off'. Если вы задаете 'Leaveout','on', затем для каждого из наблюдений n (где n является количеством наблюдений, исключая недостающие наблюдения, заданные в NumObservations свойство модели), программное обеспечение завершает эти шаги:

  1. Зарезервируйте одно наблюдение как данные о валидации и обучите модель с помощью другого n – 1 наблюдение.

  2. Сохраните n компактные, обученные модели в n-by-1 вектор ячейки в Trained свойство перекрестной подтвержденной модели.

Чтобы создать перекрестную подтвержденную модель, можно задать только один из этих четырех аргументов значения имени: CVPartition, Holdout, KFold, или Leaveout.

Пример: 'Leaveout','on'

Другие опции классификации

свернуть все

Имена классов, чтобы использовать для обучения в виде категориального, символа или массива строк; логический или числовой вектор; или массив ячеек из символьных векторов. ClassNames должен иметь совпадающий тип данных как переменную отклика в Tbl или Y.

Если ClassNames символьный массив, затем каждый элемент должен соответствовать одной строке массива.

Используйте ClassNames к:

  • Задайте порядок классов во время обучения.

  • Задайте порядок любой размерности аргумента ввода или вывода, которая соответствует порядку класса. Например, используйте ClassNames задавать порядок размерностей Cost или порядок следования столбцов классификационных оценок, возвращенных predict.

  • Выберите подмножество классов для обучения. Например, предположите что набор всех отличных имен классов в Y {'a','b','c'}. Обучать модель с помощью наблюдений от классов 'a' и 'c' только, задайте 'ClassNames',{'a','c'}.

Значение по умолчанию для ClassNames набор всех отличных имен классов в переменной отклика в Tbl или Y.

Пример: 'ClassNames',{'b','g'}

Типы данных: categorical | char | string | logical | single | double | cell

Стоимость Misclassification в виде разделенной запятой пары, состоящей из 'Cost' и квадратная матрица или структура. Если вы задаете:

  • Квадратная матрица Cost, затем Cost(i,j) стоимость классификации точки в класс j если его истинным классом является i. Таким образом, строки соответствуют истинному классу, и столбцы соответствуют предсказанному классу. Чтобы задать класс заказывают для соответствующих строк и столбцов Cost, также задайте ClassNames аргумент пары "имя-значение".

  • Структура S, затем это должно иметь два поля:

    • S.ClassNames, который содержит имена классов как переменную совпадающего типа данных как Y

    • S.ClassificationCosts, который содержит матрицу стоимости со строками и столбцами, упорядоченными как в S.ClassNames

Значением по умолчанию являются единицы (K) - глаз (K), где K количество отличных классов.

Примечание

fitcensemble использование Cost настраивать предшествующие вероятности класса, заданные в Priorто, fitcensemble использует настроенные априорные вероятности для обучения и сбрасывает матрицу стоимости к ее значению по умолчанию.

Пример: 'Cost',[0 1 2 ; 1 0 2; 2 2 0]

Типы данных: double | single | struct

Априорные вероятности для каждого класса в виде разделенной запятой пары, состоящей из 'Prior' и значение в этой таблице.

ЗначениеОписание
'empirical'Априорные вероятности класса являются частотами родственника класса в Y.
'uniform'Все априорные вероятности класса равны 1/K, где K является количеством классов.
числовой векторКаждым элементом является априорная вероятность класса. Закажите элементы согласно Mdl.ClassNames или задайте порядок с помощью ClassNames аргумент пары "имя-значение". Программное обеспечение нормирует элементы, таким образом, что они суммируют к 1.
массив структур

Структура S с двумя полями:

  • S.ClassNames содержит имена классов как переменную того же типа как Y.

  • S.ClassProbs содержит вектор из соответствующих априорных вероятностей. Программное обеспечение нормирует элементы, таким образом, что они суммируют к 1.

fitcensemble нормирует априорные вероятности в Prior суммировать к 1.

Пример: struct('ClassNames',{{'setosa','versicolor','virginica'}},'ClassProbs',1:3)

Типы данных: char | string | double | single | struct

Выиграйте преобразование в виде вектора символов, строкового скаляра или указателя на функцию.

Эта таблица суммирует доступные векторы символов и строковые скаляры.

ЗначениеОписание
'doublelogit'1/(1 + e –2x)
'invlogit'журнал (x / (1 – x))
'ismax'Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к 0
'logit'1/(1 + e x)
'none' или 'identity'x (никакое преобразование)
'sign'– 1 для x <0
0 для x = 0
1 для x> 0
'symmetric'2x – 1
'symmetricismax'Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к –1
'symmetriclogit'2/(1 + e x) – 1

Для функции MATLAB или функции вы задаете, используете ее указатель на функцию для счета, преобразовывают. Указатель на функцию должен принять матрицу (исходные баллы) и возвратить матрицу, одного размера (преобразованные баллы).

Пример: 'ScoreTransform','logit'

Типы данных: char | string | function_handle

Веса наблюдения в виде разделенной запятой пары, состоящей из 'Weights' и числовой вектор из положительных значений или имя переменной в Tbl. Программное обеспечение взвешивает наблюдения в каждой строке X или Tbl с соответствующим значением в Weights. Размер Weights должен равняться количеству строк X или Tbl.

Если вы задаете входные данные как таблицу Tbl, затем Weights может быть имя переменной в Tbl это содержит числовой вектор. В этом случае необходимо задать Weights как вектор символов или строковый скаляр. Например, если вектор весов W хранится как Tbl.W, затем задайте его как 'W'. В противном случае программное обеспечение обрабатывает все столбцы Tbl, включая W, как предикторы или ответ, когда обучение модель.

Программное обеспечение нормирует Weights суммировать до значения априорной вероятности в соответствующем классе.

По умолчанию, Weights единицы (n,1), где n количество наблюдений в X или Tbl.

Типы данных: double | single | char | string

Выборка опций для повышения методов и укладывания в мешки

свернуть все

Часть набора обучающих данных, чтобы передискретизировать для каждого слабого ученика в виде разделенной запятой пары, состоящей из 'FResample' и положительная скалярная величина в (0,1].

Использовать 'FResample', задайте 'bag' для Method или набор Resample к 'on'.

Пример: 'FResample',0.75

Типы данных: single | double

Отметьте указание на выборку с помощью замены в виде разделенной запятой пары, состоящей из 'Replace' и 'off' или 'on'.

  • Для 'on', программное обеспечение производит учебные наблюдения с заменой.

  • Для 'off', программное обеспечение производит учебные наблюдения без замены. Если вы устанавливаете Resample к 'on', затем наблюдения обучения выборкам программного обеспечения, принимающие универсальные веса. Если вы также задаете повышающий метод, то программное обеспечение повышает путем перевзвешивания наблюдений.

Если вы не устанавливаете Method к 'bag' или набор Resample к 'on'замена не оказывает влияния.

Пример: 'Replace','off'

Отметьте указание, чтобы передискретизировать в виде разделенной запятой пары, состоящей из 'Resample' и 'off' или 'on'.

  • Если Method повышающий метод, затем:

    • 'Resample','on' задает к демонстрационным учебным наблюдениям с помощью обновленных весов в качестве вероятностей выборки многочлена.

    • 'Resample','off'(значение по умолчанию) задает, чтобы повторно взвесить наблюдения в каждой итерации изучения.

  • Если Method 'bag', затем 'Resample' должен быть 'on'. Программное обеспечение передискретизирует часть учебных наблюдений (см. FResample) с или без замены (см. Replace).

Если вы задаете, чтобы передискретизировать использование Resample, затем это - хорошая практика, чтобы передискретизировать к целому набору данных. Таким образом, используйте настройку по умолчанию 1 для FResample.

AdaBoostM1, AdaBoostM2, LogitBoost и опции метода GentleBoost

свернуть все

Скорость обучения для уменьшения в виде разделенной запятой пары, состоящей из 'LearnRate' и числовой скаляр в интервале (0,1].

Чтобы обучить ансамбль, использующий уменьшение, установите LearnRate к значению меньше, чем 1, например, 0.1 популярный выбор. Обучение ансамбль, использующий уменьшение, требует большего количества итераций изучения, но часто достигает лучшей точности.

Пример: 'LearnRate',0.1

Типы данных: single | double

Опции метода RUSBoost

свернуть все

Скорость обучения для уменьшения в виде разделенной запятой пары, состоящей из 'LearnRate' и числовой скаляр в интервале (0,1].

Чтобы обучить ансамбль, использующий уменьшение, установите LearnRate к значению меньше, чем 1, например, 0.1 популярный выбор. Обучение ансамбль, использующий уменьшение, требует большего количества итераций изучения, но часто достигает лучшей точности.

Пример: 'LearnRate',0.1

Типы данных: single | double

Выборка пропорции относительно представленного самым низким образом класса в виде разделенной запятой пары, состоящей из 'RatioToSmallest' и числовой скаляр или числовой вектор из положительных значений с длиной равняются количеству отличных классов в обучающих данных.

Предположим, что существует K классы в обучающих данных и представленный самым низким образом класс имеют m наблюдения в обучающих данных.

  • Если вы задаете положительный числовой скаляр sто fitcensemble выборки sM наблюдения от каждого класса, то есть, это использует ту же пропорцию выборки для каждого класса. Для получения дополнительной информации см. Алгоритмы.

  • Если вы задаете числовой вектор [s1S2 ..., sK]то fitcensemble выборки siM наблюдения от класса ii = 1..., K. Элементы RatioToSmallest соответствуйте порядку имен классов, заданных с помощью ClassNames (см. Советы).

Значением по умолчанию являются единицы (K,1), который задает, чтобы произвести m наблюдения от каждого класса.

Пример: 'RatioToSmallest',[2,1]

Типы данных: single | double

LPBoost и опции метода TotalBoost

свернуть все

Граничная точность, чтобы управлять быстротой сходимости в виде разделенной запятой пары, состоящей из 'MarginPrecision' и числовой скаляр в интервале [0,1]. MarginPrecision влияет на количество повышения итераций, требуемых для сходимости.

Совет

Чтобы обучить ансамбль, использующий многих учеников, задайте маленькое значение для MarginPrecision. Для обучения с помощью нескольких учеников задайте большое значение.

Пример: 'MarginPrecision',0.5

Типы данных: single | double

Опции метода RobustBoost

свернуть все

Целевая ошибка классификации в виде разделенной запятой пары, состоящей из 'RobustErrorGoal' и неотрицательный числовой скаляр. Верхняя граница на возможных значениях зависит от значений RobustMarginSigma и RobustMaxMargin. Однако верхняя граница не может превысить 1.

Совет

Для конкретного набора обучающих данных обычно существует оптимальная область значений для RobustErrorGoal. Если вы устанавливаете его слишком низко или слишком высоко, то программное обеспечение может произвести модель с плохой точностью классификации. Попытайтесь перекрестный подтвердить, чтобы искать соответствующее значение.

Пример: 'RobustErrorGoal',0.05

Типы данных: single | double

Распределение поля классификации, распространенное по обучающим данным в виде разделенной запятой пары, состоящей из 'RobustMarginSigma' и положительный числовой скаляр. Прежде, чем задать RobustMarginSigma, консультируйтесь с литературой по RobustBoost, например, [19].

Пример: 'RobustMarginSigma',0.5

Типы данных: single | double

Максимальное поле классификации в обучающих данных в виде разделенной запятой пары, состоящей из 'RobustMaxMargin' и неотрицательный числовой скаляр. Программное обеспечение минимизирует количество наблюдений в обучающих данных, имеющих поля классификации ниже RobustMaxMargin.

Пример: 'RobustMaxMargin',1

Типы данных: single | double

Случайные опции метода подпространства

свернуть все

Количество предикторов к выборке для каждого случайного ученика подпространства в виде разделенной запятой пары, состоящей из 'NPredToSample' и положительное целое число в интервале 1..., p, где p является количеством переменных предикторов (size(X,2) или size(Tbl,2)).

Типы данных: single | double

Опции гипероптимизации параметров управления

свернуть все

Параметры, чтобы оптимизировать в виде разделенной запятой пары, состоящей из 'OptimizeHyperparameters' и одно из следующего:

  • 'none' — Не оптимизировать.

  • 'auto' — Используйте {'Method','NumLearningCycles','LearnRate'} наряду с параметрами по умолчанию для заданного Learners:

    • Learners = 'tree' (значение по умолчанию) — {'MinLeafSize'}

    • Learners = 'discriminant'{'Delta','Gamma'}

    • Learners = 'knn'{'Distance','NumNeighbors'}

    Примечание

    Для гипероптимизации параметров управления, Learners должен быть отдельный аргумент, не массив строк или массив ячеек.

  • 'all' — Оптимизируйте все имеющие право параметры.

  • Массив строк или массив ячеек имеющих право названий параметра

  • Вектор из optimizableVariable объекты, обычно выход hyperparameters

Оптимизация пытается минимизировать потерю перекрестной проверки (ошибка) для fitcensemble путем варьирования параметров. Для получения информации о потере перекрестной проверки (хотя в различном контексте), смотрите Потерю Классификации. Чтобы управлять типом перекрестной проверки и другими аспектами оптимизации, используйте HyperparameterOptimizationOptions пара "имя-значение".

Примечание

'OptimizeHyperparameters' значения заменяют любые значения, вы устанавливаете использование других аргументов пары "имя-значение". Например, установка 'OptimizeHyperparameters' к 'auto' вызывает 'auto' значения, чтобы применяться.

Имеющие право параметры для fitcensemble :

  • Method — Зависит от количества классов.

    • Два класса — Имеющими право методами является 'Bag', 'GentleBoost', 'LogitBoost', 'AdaBoostM1', и 'RUSBoost'.

    • Три или больше класса — Имеющими право методами является 'Bag', 'AdaBoostM2', и 'RUSBoost'.

  • NumLearningCyclesfitcensemble поисковые запросы среди положительных целых чисел, по умолчанию масштабируемых журналом с областью значений [10,500].

  • LearnRatefitcensemble поисковые запросы среди положительных реалов, по умолчанию масштабируемых журналом с областью значений [1e-3,1].

  • Имеющие право гиперпараметры для выбранного Learners:

    УченикиИмеющие право гиперпараметры
    Полужирный = используемый по умолчанию
    Область значений по умолчанию
    'discriminant'DeltaМасштабируемый журналом в области значений [1e-6,1e3]
    DiscrimType'linear', 'quadratic', 'diagLinear', 'diagQuadratic', 'pseudoLinear', и 'pseudoQuadratic'
    GammaДействительные значения в [0,1]
    'knn'Distance'cityblock', 'chebychev'Корреляция, 'cosine', 'euclidean', 'hamming', 'jaccard', 'mahalanobis', 'minkowski', 'seuclidean', и 'spearman'
    DistanceWeight'equal', 'inverse', и 'squaredinverse'
    ExponentПоложительные значения в [0.5,3]
    NumNeighborsПоложительные целочисленные значения, масштабируемые журналом в области значений [1, max(2,round(NumObservations/2))]
    Standardize'true' и 'false'
    'tree'MaxNumSplitsЦелые числа, масштабируемые журналом в области значений [1,max(2,NumObservations-1)]
    MinLeafSizeЦелые числа, масштабируемые журналом в области значений [1,max(2,floor(NumObservations/2))]
    NumVariablesToSampleЦелые числа в области значений [1,max(2,NumPredictors)]
    SplitCriterion'gdi', 'deviance', и 'twoing'

    В качестве альтернативы используйте hyperparameters с вашим выбранным Learners. Обратите внимание на то, что необходимо задать данные о предикторе и ответ при создании optimizableVariable объект.

    load fisheriris
    params = hyperparameters('fitcensemble',meas,species,'Tree');

    Чтобы видеть имеющие право и гиперпараметры по умолчанию, исследуйте params.

Установите параметры не по умолчанию путем передачи вектора из optimizableVariable объекты, которые имеют значения не по умолчанию. Например,

load fisheriris
params = hyperparameters('fitcensemble',meas,species,'Tree');
params(4).Range = [1,30];

Передайте params как значение OptimizeHyperparameters.

По умолчанию итеративное отображение появляется в командной строке, и графики появляются согласно количеству гиперпараметров в оптимизации. Для оптимизации и графиков, целевая функция является журналом (1 + потеря перекрестной проверки) для регрессии и misclassification уровня для классификации. Чтобы управлять итеративным отображением, установите Verbose поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение". Чтобы управлять графиками, установите ShowPlots поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение".

Для примера смотрите, Оптимизируют Ансамбль Классификации.

Пример: 'OptimizeHyperparameters',{'Method','NumLearningCycles','LearnRate','MinLeafSize','MaxNumSplits'}

Опции для оптимизации в виде разделенной запятой пары, состоящей из 'HyperparameterOptimizationOptions' и структура. Этот аргумент изменяет эффект OptimizeHyperparameters аргумент пары "имя-значение". Все поля в структуре являются дополнительными.

Имя поляЗначенияЗначение по умолчанию
Optimizer
  • 'bayesopt' — Используйте Байесовую оптимизацию. Внутренне, эта установка вызовы bayesopt.

  • 'gridsearch' — Используйте поиск сетки с NumGridDivisions значения на размерность.

  • 'randomsearch' — Поиск наугад среди MaxObjectiveEvaluations 'points'.

'gridsearch' поисковые запросы в произвольном порядке, с помощью универсальной выборки без замены от сетки. После оптимизации можно получить таблицу в порядке сетки при помощи команды sortrows(Mdl.HyperparameterOptimizationResults).

'bayesopt'
AcquisitionFunctionName

  • 'expected-improvement-per-second-plus'

  • 'expected-improvement'

  • 'expected-improvement-plus'

  • 'expected-improvement-per-second'

  • 'lower-confidence-bound'

  • 'probability-of-improvement'

Приобретение функционирует, чьи имена включают per-second не приводите к восстанавливаемым результатам, потому что оптимизация зависит от времени выполнения целевой функции. Приобретение функционирует, чьи имена включают plus измените их поведение, когда они сверхиспользуют область. Для получения дополнительной информации смотрите Типы Функции Приобретения.

'expected-improvement-per-second-plus'
MaxObjectiveEvaluationsМаксимальное количество оценок целевой функции.30 для 'bayesopt' или 'randomsearch', и целая сетка для 'gridsearch'
MaxTime

Ограничение по времени в виде положительного действительного. Ограничение по времени находится в секундах, как измерено tic и toc. Время выполнения может превысить MaxTime потому что MaxTime не делает оценок функции обработки прерываний.

Inf
NumGridDivisionsДля 'gridsearch', количество значений в каждой размерности. Значение может быть вектором из положительных целых чисел, дающих количество значений для каждой размерности или скаляр, который применяется ко всем размерностям. Это поле проигнорировано для категориальных переменных.10
ShowPlotsЛогическое значение, указывающее, показать ли графики. Если true, это поле строит лучшее значение целевой функции против номера итерации. Если существуют один или два параметра оптимизации, и если Optimizer 'bayesopt', затем ShowPlots также строит модель целевой функции против параметров.true
SaveIntermediateResultsЛогическое значение, указывающее, сохранить ли результаты когда Optimizer 'bayesopt'. Если true, это поле перезаписывает переменную рабочей области под названием 'BayesoptResults' в каждой итерации. Переменной является BayesianOptimization объект.false
Verbose

Отобразитесь к командной строке.

  • 0 — Никакое итеративное отображение

  • 1 Итеративное отображение

  • 2 — Итеративное отображение с дополнительной информацией

Для получения дополнительной информации смотрите bayesopt Verbose аргумент пары "имя-значение".

1
UseParallelЛогическое значение, указывающее, запустить ли Байесовую оптимизацию параллельно, которая требует Parallel Computing Toolbox. Из-за невоспроизводимости синхронизации параллели, параллельная Байесова оптимизация не обязательно приводит к восстанавливаемым результатам. Для получения дополнительной информации смотрите Параллельную Байесовую Оптимизацию.false
Repartition

Логическое значение, указывающее, повторно разделить ли перекрестную проверку в каждой итерации. Если false, оптимизатор использует один раздел для оптимизации.

true обычно дает большинство устойчивых результатов, потому что эта установка принимает шум разделения во внимание. Однако для хороших результатов, true требует, по крайней мере, вдвое большего количества вычислений функции.

false
Используйте не больше, чем одни из следующих трех имен полей.
CVPartitioncvpartition объект, как создано cvpartition.'Kfold',5 если вы не задаете поля перекрестной проверки
HoldoutСкаляр в области значений (0,1) представление части затяжки.
KfoldЦелое число, больше, чем 1.

Пример: 'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',60)

Типы данных: struct

Выходные аргументы

свернуть все

Обученная модель ансамбля, возвращенная как один из объектов модели в этой таблице.

Объект моделиЗадать какие-либо опции перекрестной проверки?Method УстановкаResample Установка
ClassificationBaggedEnsembleНет'Bag''on'
ClassificationEnsembleНетЛюбой метод агрегации ансамбля для классификации'off'
ClassificationPartitionedEnsembleДаЛюбой метод агрегации ансамбля для классификации'off' или 'on'

Аргументы пары "имя-значение", что перекрестной проверкой управления является CrossVal, Holdout, KFold, Leaveout, и CVPartition.

К ссылочным свойствам Mdl, используйте запись через точку. Например, чтобы получить доступ или отобразить вектор ячейки из слабых объектов модели ученика для ансамбля, который не был перекрестный подтвержден, введите Mdl.Trained в командной строке.

Советы

  • NumLearningCycles может варьироваться от нескольких дюжин до нескольких тысяч. Обычно, ансамбль с хорошей предсказательной силой требует от нескольких сотен до нескольких тысяч слабых учеников. Однако вы не должны обучать ансамбль который много циклов целиком. Можно запустить путем роста нескольких дюжин учеников, смотреть эффективность ансамбля и затем, при необходимости, обучить более слабых учеников, использующих resume для проблем классификации.

  • Эффективность ансамбля зависит от установки ансамбля и установки слабых учеников. Таким образом, если вы задаете слабых учеников параметрами по умолчанию, затем ансамбль может выполнить плохо. Поэтому как настройки ансамбля, это - хорошая практика, чтобы настроить параметры слабых шаблонов использования учеников и выбрать значения, которые минимизируют ошибку обобщения.

  • Если вы задаете, чтобы передискретизировать использование Resample, затем это - хорошая практика, чтобы передискретизировать к целому набору данных. Таким образом, используйте настройку по умолчанию 1 для FResample.

  • Если метод агрегации ансамбля (Method) 'bag' и:

    • Стоимость misclassification (Cost) является очень неустойчивым, затем, для выборок в сумке, программное обеспечение сверхдискретизировало уникальные наблюдения от класса, который имеет большой штраф.

    • Априорные вероятности класса (Prior) высоко скашиваются, программное обеспечение сверхдискретизировало уникальные наблюдения от класса, который имеет большую априорную вероятность.

    Для меньших объемов выборки эти комбинации могут привести к низкой относительной частоте наблюдений из сумки от класса, который имеет большой штраф или априорную вероятность. Следовательно, предполагаемая ошибка из сумки является очень переменной, и она может затруднить, чтобы интерпретировать. Чтобы избежать больших предполагаемых ошибочных отклонений из сумки, особенно для размеров небольшой выборки, устанавливают более сбалансированную матрицу стоимости misclassification использование Cost или менее скошенный вектор априорной вероятности использование Prior.

  • Поскольку порядок некоторых аргументов ввода и вывода соответствует отличным классам в обучающих данных, это - хорошая практика, чтобы задать порядок класса с помощью ClassNames аргумент пары "имя-значение".

    • Чтобы определить порядок класса быстро, удалите все наблюдения из обучающих данных, которые являются несекретными (то есть, имейте недостающую метку), получите и отобразите массив всех отличных классов, и затем задайте массив для ClassNames. Например, предположите переменную отклика (Y) массив ячеек меток. Этот код задает порядок класса в переменной classNames.

      Ycat = categorical(Y);
      classNames = categories(Ycat)
      categorical присвоения <undefined> к несекретным наблюдениям и categories исключает <undefined> от его выхода. Поэтому, если вы используете этот код для массивов ячеек меток или подобный код для категориальных массивов, затем вы не должны удалять наблюдения с пропавшими без вести меток, чтобы получить список отличных классов.

    • Чтобы указать что порядок класса от представленной самым низким образом метки до наиболее представленного, затем быстро определите порядок класса (как в предыдущем маркере), но расположите классы в списке частотой прежде, чем передать список ClassNames. Следуя из предыдущего примера, этот код задает порядок класса от самого низкого - к наиболее представленному в classNamesLH.

      Ycat = categorical(Y);
      classNames = categories(Ycat);
      freq = countcats(Ycat);
      [~,idx] = sort(freq);
      classNamesLH = classNames(idx);

  • После обучения модель можно сгенерировать код C/C++, который предсказывает метки для новых данных. Генерация кода C/C++ требует MATLAB Coder™. Для получения дополнительной информации смотрите Введение в Генерацию кода.

Алгоритмы

  • Для получения дополнительной информации алгоритмов агрегации ансамбля, см. Алгоритмы Ансамбля.

  • Если вы устанавливаете Method быть повышающим алгоритмом и Learners чтобы быть деревьями решений, затем программное обеспечение выращивает мелкие деревья решений по умолчанию. Можно настроить древовидную глубину путем определения MaxNumSplits, MinLeafSize, и MinParentSize использование аргументов пары "имя-значение" templateTree.

  • Для укладывания в мешки ('Method','Bag'), fitcensemble генерирует выборки в сумке путем сверхдискретизации классов с большими затратами misclassification и субдискретизации классов с маленькими затратами misclassification. Следовательно, выборки из сумки имеют меньше наблюдений от классов с большими затратами misclassification и больше наблюдений от классов с маленькими затратами misclassification. Если вы обучаете ансамбль классификации, использующий небольшой набор данных и очень скошенную матрицу стоимости, то количество наблюдений из сумки в классе может быть низким. Поэтому предполагаемая ошибка из сумки может иметь большое отклонение и может затруднить, чтобы интерпретировать. То же явление может произойти для классов с большими априорными вероятностями.

  • Для метода агрегации ансамбля RUSBoost ('Method','RUSBoost'), аргумент пары "имя-значение" RatioToSmallest задает пропорцию выборки для каждого класса относительно представленного самым низким образом класса. Например, предположите, что существует два класса в обучающих данных: A и B. A имеет 100 наблюдений, и B имеет 10 наблюдений. Предположим также, что представленный самым низким образом класс имеет m наблюдения в обучающих данных.

    • Если вы устанавливаете 'RatioToSmallest',2, затем sM= 2*10 = 20 . Следовательно, fitcensemble обучает каждого ученика, использующего 20 наблюдений от класса A и 20 наблюдений от класса B. Если вы устанавливаете 'RatioToSmallest',[2 2], затем вы получаете тот же результат.

    • Если вы устанавливаете 'RatioToSmallest',[2,1], затем s1M= 2*10 = 20 и s2M= 1*10 = 10 . Следовательно, fitcensemble обучает каждого ученика, использующего 20 наблюдений от класса A и 10 наблюдений от класса B.

  • Для двухъядерных систем и выше, fitcensemble параллелизирует использование обучения Поточная обработка базовых блоков (TBB) Intel. Для получения дополнительной информации на Intel TBB, см. https://software.intel.com/en-us/intel-tbb.

Ссылки

[1] Бреимен, L. “Укладывание в мешки Предикторов”. Машинное обучение. Издание 26, стр 123–140, 1996.

[2] Бреимен, L. “Случайные Леса”. Машинное обучение. Издание 45, стр 5–32, 2001.

[3] Freund, Y. “Более устойчивый повышающий алгоритм”. arXiv:0905.2138v1, 2009.

[4] Freund, Y. и Р. Э. Шапайр. “Теоретическое Решением Обобщение Дистанционного обучения и Приложения к Повышению”. J. Компьютерных и Системных Наук, Издания 55, стр 119–139, 1997.

[5] Фридман, J. “Жадное приближение функций: машина повышения градиента”. Летопись Статистики, Издания 29, № 5, стр 1189–1232, 2001.

[6] Фридман, J., Т. Хэсти и Р. Тибширэни. “Аддитивная логистическая регрессия: статистическое представление повышения”. Летопись Статистики, Издания 28, № 2, стр 337–407, 2000.

[7] Hastie, T., Р. Тибширэни и Дж. Фридман. Выпуск раздела Elements of Statistical Learning, Спрингер, Нью-Йорк, 2008.

[8] Хо, T. K. “Случайный метод подпространства для построения лесов решения”. Транзакции IEEE согласно Анализу Шаблона и Искусственному интеллекту, Изданию 20, № 8, стр 832–844, 1998.

[9] Schapire, R. E. И. Фреунд, П. Бартлетт и В.С. Ли. “Повышение поля: новое объяснение эффективности голосующих методов”. Летопись Статистики, Издания 26, № 5, стр 1651–1686, 1998.

[10] Seiffert, C., Т. Хошгофтаар, Дж. Хулс и А. Наполитано. “RUSBoost: Улучшание производительности классификации, когда обучающие данные скашивается”. 19-я Международная конференция по вопросам Распознавания образов, стр 1–4, 2008.

[11] Warmuth, M., Цз. Ляо и Г. Рэч. “Полностью корректирующие повышающие алгоритмы, которые максимизируют поле”. Proc. 23-й Int’l. Конференция по Машинному обучению, ACM, Нью-Йорк, стр 1001–1008, 2006.

Расширенные возможности

Введенный в R2017b
Для просмотра документации необходимо авторизоваться на сайте