Шаблон обучения ансамбля
t = templateEnsemble(Method,NLearn,Learners)Method, NLearn циклы обучения и слабые учащиеся Learners.
Все другие опции шаблона (t) характерные для обучения ансамбля появляются пустыми, но программное обеспечение использует их соответствующие значения по умолчанию во время обучения.
t = templateEnsemble(Method,NLearn,Learners,Name,Value)
Для примера можно задать количество предикторов в каждом случайном подпространстве учащегося, скорости обучения для усадки или целевую ошибку классификации для RobustBoost.
Если вы отображаете t в Командном окне, затем все опции появляются пустыми ([]), кроме тех опций, которые вы задаете используя аргументы пары "имя-значение". Во время обучения программа использует значения по умолчанию для пустых опций.
Использование templateEnsemble для задания шаблона обучения ансамбля. Необходимо указать метод ансамбля, количество циклов обучения и тип слабых учащихся. В данном примере задайте метод AdaBoostM1, 100 учащихся и слабых учащихся классификационного дерева.
t = templateEnsemble('AdaBoostM1',100,'tree')
t =
Fit template for classification AdaBoostM1.
Type: 'classification'
Method: 'AdaBoostM1'
LearnerTemplates: 'Tree'
NLearn: 100
LearnRate: []
Все свойства объекта шаблона пусты, кроме Method, Type, LearnerTemplates, и NLearn. После обучения программа заполняет пустые свойства соответствующими значениями по умолчанию. Например, программное обеспечение заполняет LearnRate свойство с 1.
t является планом для обучающегося ансамбля, и никакие расчеты не происходят, когда вы задаете его. Можно пройти t на fitcecoc определить ансамблевых двоичных учащихся для многоклассового обучения ECOC.
Создайте шаблон ансамбля для использования в fitcecoc.
Загрузите набор данных аритмии.
load arrhythmia
tabulate(categorical(Y)); Value Count Percent
1 245 54.20%
2 44 9.73%
3 15 3.32%
4 15 3.32%
5 13 2.88%
6 25 5.53%
7 3 0.66%
8 2 0.44%
9 9 1.99%
10 50 11.06%
14 4 0.88%
15 5 1.11%
16 22 4.87%
rng(1); % For reproducibilityНекоторые классы имеют небольшие относительные частоты в данных.
Создайте шаблон для AdaBoostM1 ансамбля классификационных деревьев и укажите использовать 100 учащихся и усадку 0,1. По умолчанию бустинг увеличивает пни (т.е. один узел, имеющий набор листьев). Поскольку существуют классы с малыми частотами, деревья должны быть достаточно листовыми, чтобы быть чувствительными к классам меньшинств. Задайте минимальное количество наблюдений узла листа равное 3.
tTree = templateTree('MinLeafSize',20); t = templateEnsemble('AdaBoostM1',100,tTree,'LearnRate',0.1);
Все свойства объектов шаблона пусты, кроме Method и Type, и соответствующие свойства аргумента пары "имя-значение" значений в вызовах функции. Когда ты проходишь t для функции обучения программа заполняет пустые свойства соответствующими значениями по умолчанию.
Задайте t в качестве двоичного ученика для многоклассовой модели ECOC. Обучите, используя проект кодирования по умолчанию один от одного.
Mdl = fitcecoc(X,Y,'Learners',t);Mdl является ClassificationECOC многоклассовая модель.
Mdl.BinaryLearners - массив ячеек 78 на 1 из CompactClassificationEnsemble модели.
Mdl.BinaryLearners{j}.Trained - массив ячеек 100 на 1 CompactClassificationTree модели, для j = 1,...,78.
Можно проверить, что один из двоичных учащихся содержит слабого ученика, который не является пнем при помощи view.
view(Mdl.BinaryLearners{1}.Trained{1},'Mode','graph')
Отображение ошибки неправильной классификации в выборке (повторная замена).
L = resubLoss(Mdl,'LossFun','classiferror')
L = 0.0819
Обучите классификатор ECOC один от всех с помощью GentleBoost ансамбль деревьев решений с суррогатными сплитами. Чтобы ускорить обучение, числовые предикторы интервал и используйте параллельные вычисления. Раскладывание действительно только при fitcecoc использует ученика дерева. После обучения оцените ошибку классификации, используя 10-кратную перекрестную валидацию. Обратите внимание, что для параллельных вычислений требуется Parallel Computing Toolbox™.
Загрузка выборочных данных
Загрузите и осмотрите arrhythmia набор данных.
load arrhythmia
[n,p] = size(X)n = 452
p = 279
isLabels = unique(Y); nLabels = numel(isLabels)
nLabels = 13
tabulate(categorical(Y))
Value Count Percent
1 245 54.20%
2 44 9.73%
3 15 3.32%
4 15 3.32%
5 13 2.88%
6 25 5.53%
7 3 0.66%
8 2 0.44%
9 9 1.99%
10 50 11.06%
14 4 0.88%
15 5 1.11%
16 22 4.87%
Набор данных содержит 279 предикторы и размер выборки 452 относительно небольшая. Из 16 различных меток только 13 представлены в ответе (Y). Каждая метка описывает различные степени аритмии, и 54,20% наблюдений находятся в классе 1.
Обучите классификатор один от всех ECOC
Создайте шаблон ансамбля. Необходимо задать как минимум три аргумента: метод, количество учащихся и тип обучающегося. В данном примере задайте 'GentleBoost' для метода, 100 для количества учащихся и шаблона дерева решений, который использует суррогатные разделения, потому что отсутствуют наблюдения.
tTree = templateTree('surrogate','on'); tEnsemble = templateEnsemble('GentleBoost',100,tTree);
tEnsemble является объектом шаблона. Большинство его свойств пусты, но программа заполняет их значениями по умолчанию во время обучения.
Обучите классификатор ECOC один от всех, используя ансамбли деревьев решений в качестве двоичных учащихся. Чтобы ускорить обучение, используйте раскладывание и параллельные вычисления.
Раскладывание ('NumBins',50) - Когда у вас есть большой набор обучающих данных, вы можете ускорить обучение (потенциальное снижение точности), используя 'NumBins' аргумент пары "имя-значение". Этот аргумент действителен только при fitcecoc использует ученика дерева. Если вы задаете 'NumBins' Значение программное обеспечение помещает каждый числовой предиктор в заданное количество уравнительных интервалов, а затем выращивает деревья индексов интервала вместо исходных данных. Можно попробовать 'NumBins',50 сначала, а затем смените 'NumBins' значение в зависимости от точности и скорости обучения.
Параллельные вычисления ('Options',statset('UseParallel',true)) - С лицензией Parallel Computing Toolbox можно ускорить расчеты с помощью параллельных вычислений, которые отправляют каждого двоичного ученика работнику пула. Количество работников зависит от вашего системного строения. Когда вы используете деревья принятия решений для двоичных учащихся, fitcecoc параллелизирует обучение с использованием Intel ® Threading Building Blocks (TBB) для двухъядерных систем и выше. Поэтому установка 'UseParallel' опция не полезна на одном компьютере. Используйте эту опцию в кластере.
Кроме того, задайте, что предыдущие вероятности 1/K, где K = 13 - количество различных классов.
options = statset('UseParallel',true); Mdl = fitcecoc(X,Y,'Coding','onevsall','Learners',tEnsemble,... 'Prior','uniform','NumBins',50,'Options',options);
Starting parallel pool (parpool) using the 'local' profile ... Connected to the parallel pool (number of workers: 6).
Mdl является ClassificationECOC модель.
Перекрестная валидация
Перекрестная проверка классификатора ECOC с помощью 10-кратной перекрестной проверки.
CVMdl = crossval(Mdl,'Options',options);Warning: One or more folds do not contain points from all the groups.
CVMdl является ClassificationPartitionedECOC модель. Предупреждение указывает, что некоторые классы не представлены, в то время как программное обеспечение обучает по крайней мере одну складку. Поэтому эти складки не могут предсказать метки для отсутствующих классов. Результаты складки можно просмотреть с помощью индексации камер и записи через точку. Для примера получите доступ к результатам первой складки путем ввода CVMdl.Trained{1}.
Используйте перекрестно проверенный классификатор ECOC для предсказания меток гибки валидации. Можно вычислить матрицу неточностей при помощи confusionchart. Переместите и измените размер графика путем изменения свойства внутреннего положения, чтобы убедиться, что проценты появляются в сводных данных строк.
oofLabel = kfoldPredict(CVMdl,'Options',options); ConfMat = confusionchart(Y,oofLabel,'RowSummary','total-normalized'); ConfMat.InnerPosition = [0.10 0.12 0.85 0.85];
Воспроизведение связанных данных
Воспроизведите привязанные данные предиктора при помощи BinEdges свойство обученной модели и discretize функция.
X = Mdl.X; % Predictor data Xbinned = zeros(size(X)); edges = Mdl.BinEdges; % Find indices of binned predictors. idxNumeric = find(~cellfun(@isempty,edges)); if iscolumn(idxNumeric) idxNumeric = idxNumeric'; end for j = idxNumeric x = X(:,j); % Convert x to array if x is a table. if istable(x) x = table2array(x); end % Group x into bins by using the discretize function. xbinned = discretize(x,[-inf; edges{j}; inf]); Xbinned(:,j) = xbinned; end
Xbinned содержит индексы интервала в диапазоне от 1 до количества интервалов для числовых предикторов. Xbinned значения 0 для категориальных предикторов. Если X содержит NaNs, затем соответствующее Xbinned значения NaNс.
NLearn может варьироваться от нескольких десятков до нескольких тысяч. Обычно ансамбль с хорошей прогностической степенью требует от нескольких сотен до нескольких тысяч слабых учащихся. Однако вам не придется обучать ансамбль для того, чтобы было сразу много циклов. Можно начать с того, что вырастить несколько десятков учащихся, осмотреть эффективность ансамбля и затем, при необходимости, обучить более слабых учащихся, используя resume для задач классификации, или resume для регрессионных задач.
Эффективность ансамбля зависит от обстановки ансамбля и настройки слабых учащихся. То есть, если вы задаете слабых учащихся с параметрами по умолчанию, то ансамбль может выполнять. Поэтому, как и настройки ансамбля, рекомендуется настроить параметры слабых учащихся с помощью шаблонов и выбрать значения, которые минимизируют ошибку обобщения.
Если вы задаете, чтобы выполнить повторную выборку с помощью Resample, тогда это хорошая практика, чтобы переопределить на целом наборе данных. То есть используйте настройку по умолчанию 1 для FResample.
В задачах классификации (то есть Type является 'classification'):
Если метод агрегации ансамбля (Method) 'bag' и:
Затраты на неправильную классификацию сильно несбалансированны, тогда для выборок в мешке программное обеспечение переизбирает уникальные наблюдения от класса, который имеет большой штраф.
Классовые априорные вероятности сильно искажены, программное обеспечение переизбирает уникальные наблюдения из класса, который имеет большую априорную вероятность.
Для небольших размеров выборки эти комбинации могут привести к очень низкой относительной частоте наблюдений вне мешка от класса, который имеет большую штраф или предшествующую вероятность. Следовательно, предполагаемая ошибка вне сумки является сильно переменной, и ее может быть трудно интерпретировать. Чтобы избежать больших предполагаемых отклонений ошибок вне сумки, особенно для небольших размеров выборки, установите более сбалансированную матрицу затрат на неправильную классификацию, используя Cost Аргумент пары "имя-значение" функции аппроксимации или менее искаженный предыдущий вектор вероятностей с использованием Prior Аргумент пары "имя-значение" функции аппроксимации.
Поскольку порядок некоторых входных и выходных аргументов соответствует отдельным классам в обучающих данных, рекомендуется задать порядок классов, используя ClassNames Аргумент пары "имя-значение" функции аппроксимации.
Чтобы быстро определить порядок классов, удалите все наблюдения из обучающих данных, которые не классифицированы (то есть имеют отсутствующую метку), получите и отобразите массив всех различных классов, а затем укажите массив для ClassNames. Для примера предположим, что переменная отклика (Y) - массив ячеек с метками. Этот код задает порядок классов в переменной classNames.
Ycat = categorical(Y); classNames = categories(Ycat)
categorical присваивает <undefined> к неклассифицированным наблюдениям и categories исключает <undefined> с его выхода. Поэтому, если вы используете этот код для массивов ячеек меток или аналогичный код для категориальных массивов, то вы не должны удалять наблюдения с отсутствующими метками, чтобы получить список различных классов.Чтобы указать, что порядок должен быть от самой низкой представленной метки до самой представленной, затем быстро определите порядок классов (как в предыдущей пуле), но расположите классы в списке по частоте перед передачей списка в ClassNames. Следующий из предыдущего примера, этот код задает порядок классов от lowest- до наиболее представленных в classNamesLH.
Ycat = categorical(Y); classNames = categories(Ycat); freq = countcats(Ycat); [~,idx] = sort(freq); classNamesLH = classNames(idx);
Для получения дополнительной информации об алгоритмах агрегации ансамблей смотрите Ensemble Algorithms.
Если вы задаете Method быть алгоритмом и Learners ускорения чтобы быть деревьями решений, программное обеспечение растет stumps по умолчанию. Пень принятия решения является одним корневым узлом, соединенным с двумя терминальными, листовыми узлами. Можно настроить глубину дерева, задав MaxNumSplits, MinLeafSize, и MinParentSize Аргументы пары "имя-значение" с использованием templateTree.
Программное обеспечение генерирует выборки в мешке путем избыточной дискретизации классов с большими расходами на неправильную классификацию и классов недостаточной дискретизации с небольшими затратами на неправильную классификацию. Следовательно, выборки вне мешка имеют меньше наблюдений от классов с большими расходами на неправильную классификацию и больше наблюдений от классов с небольшими затратами на неправильную классификацию. Если вы обучаете классификационный ансамбль с помощью небольшого набора данных и сильно искаженной матрицы затрат, то количество наблюдений вне мешка на класс может быть очень низким. Поэтому предполагаемая ошибка вне сумки может иметь большое отклонение и может оказаться трудным для интерпретации. То же явление может произойти и для классов с большими априорными вероятностями.
Для метода агрегации ансамбля RUSBoost (Method), аргумент пары "имя-значение" RatioToSmallest задает пропорцию дискретизации для каждого класса относительно самого низкопредставленного класса. Например, предположим, что в обучающих данных 2 класса, A и B. A имеют 100 наблюдений и B имеют 10 наблюдений. Кроме того, предположим, что самый низкий представленный класс имеет m наблюдения в обучающих данных.
Если вы задаете 'RatioToSmallest',2, затем s* m2*10 = 20. Следовательно, программное обеспечение обучает каждого учащегося, используя 20 наблюдений из класса A и 20 наблюдений из класса B. Если вы задаете 'RatioToSmallest',[2 2], тогда вы получите тот же результат.
Если вы задаете 'RatioToSmallest',[2,1], затем s1* m2*10 = 20 и s2* m1*10 = 10. Следовательно, программное обеспечение обучает каждого учащегося, используя 20 наблюдений из класса A и 10 наблюдений из класса B.
Для ансамблей деревьев решений, и для двухъядерных систем и выше, fitcensemble и fitrensemble параллелизируйте обучение с помощью Intel® Многопоточные базовые блоки (TBB). Для получения дополнительной информации о Intel TBB смотрите https://software.intel.com/en-us/intel-tbb.
ClassificationECOC | ClassificationEnsemble | fitcecoc | fitcensemble | fitrensemble | templateDiscriminant | templateKNN | templateTree