Автоматически выберите модель классификации оптимизированными гиперпараметрами
Учитывая предиктор и данные об ответе, fitcauto
автоматически пробует выбор типов модели классификации с различными значениями гиперпараметра. Функция использует Байесовую оптимизацию, чтобы выбрать модели и их значения гиперпараметра, и вычисляет ошибку классификации перекрестных проверок для каждой модели. После того, как оптимизация завершена, fitcauto
возвращает модель, обученную на целом наборе данных, который, как ожидают, лучше всего классифицирует новые данные. Можно использовать predict
и loss
объектные функции возвращенной модели, чтобы классифицировать новые данные и вычислить ошибку классификации наборов тестов, соответственно.
Используйте fitcauto
когда вы не уверены, который вводит классификатор, лучше всего удовлетворяют вашим данным. Для получения информации об альтернативных методах для настройки гиперпараметров моделей классификации см. альтернативную функциональность.
возвращает модель Mdl
= fitcauto(Tbl
,ResponseVarName
)Mdl
классификации настроенными гиперпараметрами. Таблица
Tbl
содержит переменные предикторы и переменную отклика, где ResponseVarName
имя переменной отклика.
задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к любой из комбинаций входных аргументов в предыдущих синтаксисах. Например, используйте Mdl
= fitcauto(___,Name,Value
)HyperparameterOptimizationOptions
аргумент пары "имя-значение", чтобы задать, как Байесова оптимизация выполняется.
[
дополнительно возвращает Mdl
,OptimizationResults
] = fitcauto(___)OptimizationResults
, BayesianOptimization
объект, содержащий результаты выбора модели и настраивающего процесса гиперпараметра.
Используйте fitcauto
автоматически выбрать модель классификации оптимизированными гиперпараметрами, учитывая предиктор и данные об ответе, хранимые в таблице.
Загрузка данных
Загрузите carbig
набор данных, который содержит измерения автомобилей, сделанных в 1970-х и в начале 1980-х.
load carbig
Категоризируйте автомобили на основе того, были ли они сделаны в США.
Origin = categorical(cellstr(Origin)); Origin = mergecats(Origin,{'France','Japan','Germany', ... 'Sweden','Italy','England'},'NotUSA');
Составьте таблицу, содержащую переменные предикторы Acceleration
, Displacement
, и так далее, а также переменная отклика Origin
.
cars = table(Acceleration,Displacement,Horsepower, ...
Model_Year,MPG,Weight,Origin);
Данные о разделе
Разделите данные в наборы обучающих данных и наборы тестов. Используйте приблизительно 80% наблюдений для выбора модели и настраивающего процесса гиперпараметра, и 20% наблюдений, чтобы проверить производительность итоговой модели, возвращенной fitcauto
. Используйте cvpartition
разделить данные.
rng('default') % For reproducibility of the data partition c = cvpartition(Origin,'Holdout',0.2); trainingIdx = training(c); % Training set indices carsTrain = cars(trainingIdx,:); testIdx = test(c); % Test set indices carsTest = cars(testIdx,:);
Запустите fitcauto
Передайте обучающие данные fitcauto
. По умолчанию, fitcauto
определяет соответствующие типы модели, чтобы попробовать, использует Байесовую оптимизацию, чтобы найти хорошие гиперзначения параметров и возвращает обученную модель Mdl
с лучшей ожидаемой производительностью.
Ожидайте, что этот процесс займет время. Чтобы ускорить процесс оптимизации, полагайте, что определение запускает оптимизацию параллельно, если у вас есть лицензия Parallel Computing Toolbox™. Для этого передайте 'HyperparameterOptimizationOptions',struct('UseParallel',true)
к fitcauto
как аргумент пары "имя-значение".
Mdl = fitcauto(carsTrain,'Origin');
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 1 | Best | 0.12923 | 12.533 | 0.12923 | 0.12923 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 7 |
| 2 | Accept | 0.18269 | 0.6441 | 0.12923 | 0.12923 | knn | NumNeighbors: 3 |
| 3 | Accept | 0.23397 | 0.12905 | 0.12923 | 0.20782 | knn | NumNeighbors: 91 |
| 4 | Accept | 0.16308 | 12.228 | 0.12923 | 0.14852 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 274 | | | | | | | | | MinLeafSize: 15 |
| 5 | Accept | 0.20833 | 0.13612 | 0.12923 | 0.14852 | knn | NumNeighbors: 4 |
| 6 | Accept | 0.22115 | 0.13461 | 0.12923 | 0.14852 | knn | NumNeighbors: 28 |
| 7 | Accept | 0.16923 | 0.25707 | 0.12923 | 0.14852 | tree | MinLeafSize: 105 |
| 8 | Accept | 0.37179 | 0.64601 | 0.12923 | 0.14852 | svm | BoxConstraint: 0.022186 | | | | | | | | | KernelScale: 0.085527 |
| 9 | Accept | 0.37179 | 0.12828 | 0.12923 | 0.14852 | svm | BoxConstraint: 0.045899 | | | | | | | | | KernelScale: 0.0024758 |
| 10 | Accept | 0.24615 | 0.99945 | 0.12923 | 0.14852 | nb | DistributionNames: kernel | | | | | | | | | Width: 1.1327 |
| 11 | Accept | 0.16923 | 0.098106 | 0.12923 | 0.14852 | tree | MinLeafSize: 78 |
| 12 | Accept | 0.26923 | 0.11213 | 0.12923 | 0.14852 | svm | BoxConstraint: 11.063 | | | | | | | | | KernelScale: 15.114 |
| 13 | Best | 0.12615 | 0.10159 | 0.12615 | 0.14852 | tree | MinLeafSize: 3 |
| 14 | Accept | 0.21154 | 0.096928 | 0.12615 | 0.14852 | knn | NumNeighbors: 2 |
| 15 | Accept | 0.13538 | 0.10336 | 0.12615 | 0.15014 | tree | MinLeafSize: 1 |
| 16 | Accept | 0.13538 | 0.096076 | 0.12615 | 0.1482 | tree | MinLeafSize: 2 |
| 17 | Best | 0.12308 | 10.115 | 0.12308 | 0.13678 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 208 | | | | | | | | | MinLeafSize: 10 |
| 18 | Accept | 0.37179 | 0.13789 | 0.12308 | 0.13678 | svm | BoxConstraint: 116.46 | | | | | | | | | KernelScale: 0.52908 |
| 19 | Accept | 0.22769 | 0.16645 | 0.12308 | 0.13678 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 20 | Accept | 0.22115 | 0.087468 | 0.12308 | 0.13678 | knn | NumNeighbors: 8 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 21 | Accept | 0.37179 | 0.13455 | 0.12308 | 0.13678 | svm | BoxConstraint: 45.341 | | | | | | | | | KernelScale: 0.76949 |
| 22 | Accept | 0.12615 | 0.10641 | 0.12308 | 0.13678 | tree | MinLeafSize: 3 |
| 23 | Best | 0.10769 | 0.075704 | 0.10769 | 0.13678 | tree | MinLeafSize: 5 |
| 24 | Accept | 0.22769 | 0.28513 | 0.10769 | 0.13678 | nb | DistributionNames: kernel | | | | | | | | | Width: 0.42571 |
| 25 | Accept | 0.12615 | 0.072307 | 0.10769 | 0.13846 | tree | MinLeafSize: 11 |
| 26 | Accept | 0.13782 | 0.084552 | 0.10769 | 0.13846 | svm | BoxConstraint: 9.7286 | | | | | | | | | KernelScale: 293.41 |
| 27 | Accept | 0.22769 | 0.098663 | 0.10769 | 0.13846 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 28 | Accept | 0.21795 | 0.087931 | 0.10769 | 0.13846 | knn | NumNeighbors: 42 |
| 29 | Accept | 0.24308 | 0.26915 | 0.10769 | 0.13846 | nb | DistributionNames: kernel | | | | | | | | | Width: 4.4662 |
| 30 | Accept | 0.16308 | 11.221 | 0.10769 | 0.13846 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 267 | | | | | | | | | MinLeafSize: 131 |
| 31 | Accept | 0.24308 | 0.26485 | 0.10769 | 0.13846 | nb | DistributionNames: kernel | | | | | | | | | Width: 0.66296 |
| 32 | Accept | 0.22115 | 0.067784 | 0.10769 | 0.13846 | knn | NumNeighbors: 28 |
| 33 | Accept | 0.13846 | 0.11902 | 0.10769 | 0.13714 | tree | MinLeafSize: 25 |
| 34 | Accept | 0.21474 | 0.07273 | 0.10769 | 0.13714 | knn | NumNeighbors: 14 |
| 35 | Accept | 0.16615 | 9.2855 | 0.10769 | 0.13714 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 215 | | | | | | | | | MinLeafSize: 13 |
| 36 | Accept | 0.15077 | 11.786 | 0.10769 | 0.13714 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 254 | | | | | | | | | MinLeafSize: 31 |
| 37 | Accept | 0.22769 | 0.081882 | 0.10769 | 0.13714 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 38 | Accept | 0.37179 | 0.07709 | 0.10769 | 0.13714 | svm | BoxConstraint: 0.0073633 | | | | | | | | | KernelScale: 774.33 |
| 39 | Accept | 0.16923 | 0.077139 | 0.10769 | 0.1325 | tree | MinLeafSize: 82 |
| 40 | Accept | 0.20833 | 0.087004 | 0.10769 | 0.1325 | knn | NumNeighbors: 4 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 41 | Accept | 0.16308 | 12.164 | 0.10769 | 0.1325 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 274 | | | | | | | | | MinLeafSize: 150 |
| 42 | Accept | 0.22462 | 0.28662 | 0.10769 | 0.1325 | nb | DistributionNames: kernel | | | | | | | | | Width: 121.64 |
| 43 | Accept | 0.17846 | 10.427 | 0.10769 | 0.1325 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 229 | | | | | | | | | MinLeafSize: 117 |
| 44 | Accept | 0.16923 | 0.088318 | 0.10769 | 0.12874 | tree | MinLeafSize: 84 |
| 45 | Accept | 0.22769 | 0.079169 | 0.10769 | 0.12874 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 46 | Accept | 0.22769 | 0.065898 | 0.10769 | 0.12874 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 47 | Accept | 0.16615 | 9.3444 | 0.10769 | 0.12874 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 212 | | | | | | | | | MinLeafSize: 49 |
| 48 | Accept | 0.14154 | 13.721 | 0.10769 | 0.12874 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 288 | | | | | | | | | MinLeafSize: 25 |
| 49 | Accept | 0.23077 | 0.2725 | 0.10769 | 0.12874 | nb | DistributionNames: kernel | | | | | | | | | Width: 73.249 |
| 50 | Accept | 0.37179 | 0.11629 | 0.10769 | 0.12874 | svm | BoxConstraint: 0.0036501 | | | | | | | | | KernelScale: 1.0504 |
| 51 | Accept | 0.21474 | 0.14443 | 0.10769 | 0.12874 | svm | BoxConstraint: 64.859 | | | | | | | | | KernelScale: 23.779 |
| 52 | Accept | 0.37179 | 0.11504 | 0.10769 | 0.12874 | svm | BoxConstraint: 0.16622 | | | | | | | | | KernelScale: 4.4901 |
| 53 | Accept | 0.25846 | 0.26577 | 0.10769 | 0.12874 | nb | DistributionNames: kernel | | | | | | | | | Width: 0.079498 |
| 54 | Accept | 0.21154 | 0.07558 | 0.10769 | 0.12874 | knn | NumNeighbors: 2 |
| 55 | Accept | 0.12308 | 11.525 | 0.10769 | 0.12874 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 234 | | | | | | | | | MinLeafSize: 8 |
| 56 | Accept | 0.36538 | 0.11498 | 0.10769 | 0.12874 | svm | BoxConstraint: 271.6 | | | | | | | | | KernelScale: 2.743 |
| 57 | Accept | 0.16615 | 9.9644 | 0.10769 | 0.12874 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 248 | | | | | | | | | MinLeafSize: 117 |
| 58 | Accept | 0.37179 | 0.10707 | 0.10769 | 0.12874 | svm | BoxConstraint: 7.5785 | | | | | | | | | KernelScale: 0.0066815 |
| 59 | Accept | 0.37179 | 0.10387 | 0.10769 | 0.12874 | svm | BoxConstraint: 0.0017765 | | | | | | | | | KernelScale: 0.86786 |
| 60 | Accept | 0.37179 | 0.11451 | 0.10769 | 0.12874 | svm | BoxConstraint: 0.011465 | | | | | | | | | KernelScale: 0.02747 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 61 | Accept | 0.12308 | 0.075995 | 0.10769 | 0.12862 | tree | MinLeafSize: 12 |
| 62 | Accept | 0.29167 | 0.12678 | 0.10769 | 0.12862 | svm | BoxConstraint: 11.939 | | | | | | | | | KernelScale: 11.002 |
| 63 | Accept | 0.21795 | 0.085439 | 0.10769 | 0.12862 | knn | NumNeighbors: 6 |
| 64 | Accept | 0.18269 | 0.075299 | 0.10769 | 0.12862 | knn | NumNeighbors: 3 |
| 65 | Accept | 0.12615 | 0.09094 | 0.10769 | 0.1273 | tree | MinLeafSize: 3 |
| 66 | Accept | 0.16923 | 0.074034 | 0.10769 | 0.12662 | tree | MinLeafSize: 56 |
| 67 | Accept | 0.1891 | 0.068062 | 0.10769 | 0.12662 | knn | NumNeighbors: 1 |
| 68 | Accept | 0.11692 | 12.685 | 0.10769 | 0.12662 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 270 | | | | | | | | | MinLeafSize: 4 |
| 69 | Accept | 0.22769 | 0.08331 | 0.10769 | 0.12662 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 70 | Accept | 0.37231 | 0.23243 | 0.10769 | 0.12662 | nb | DistributionNames: kernel | | | | | | | | | Width: 1629.5 |
| 71 | Accept | 0.16923 | 0.07617 | 0.10769 | 0.12684 | tree | MinLeafSize: 61 |
| 72 | Accept | 0.22769 | 0.076927 | 0.10769 | 0.12684 | nb | DistributionNames: normal | | | | | | | | | Width: NaN |
| 73 | Accept | 0.16308 | 9.7631 | 0.10769 | 0.12684 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 217 | | | | | | | | | MinLeafSize: 70 |
| 74 | Accept | 0.10769 | 12.552 | 0.10769 | 0.12684 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 2 |
| 75 | Accept | 0.21474 | 0.091663 | 0.10769 | 0.12684 | knn | NumNeighbors: 49 |
| 76 | Accept | 0.11077 | 10.027 | 0.10769 | 0.12684 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 221 | | | | | | | | | MinLeafSize: 5 |
| 77 | Accept | 0.16 | 8.1869 | 0.10769 | 0.12684 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 203 | | | | | | | | | MinLeafSize: 1 |
| 78 | Accept | 0.11385 | 10.992 | 0.10769 | 0.12684 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 228 | | | | | | | | | MinLeafSize: 2 |
| 79 | Accept | 0.15692 | 12.232 | 0.10769 | 0.12684 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 293 | | | | | | | | | MinLeafSize: 1 |
| 80 | Accept | 0.12923 | 10.523 | 0.10769 | 0.12684 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 222 | | | | | | | | | MinLeafSize: 5 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 81 | Accept | 0.12308 | 11.281 | 0.10769 | 0.12684 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 233 | | | | | | | | | MinLeafSize: 11 |
| 82 | Accept | 0.11385 | 14.304 | 0.10769 | 0.12684 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 290 | | | | | | | | | MinLeafSize: 3 |
| 83 | Accept | 0.10769 | 12.236 | 0.10769 | 0.11724 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 260 | | | | | | | | | MinLeafSize: 1 |
| 84 | Best | 0.10154 | 12.57 | 0.10154 | 0.11441 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 1 |
| 85 | Accept | 0.16308 | 11.827 | 0.10154 | 0.11544 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 2 |
| 86 | Accept | 0.10769 | 14.658 | 0.10154 | 0.11317 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 295 | | | | | | | | | MinLeafSize: 2 |
| 87 | Accept | 0.10769 | 12.049 | 0.10154 | 0.11209 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 255 | | | | | | | | | MinLeafSize: 2 |
| 88 | Accept | 0.10462 | 12.346 | 0.10154 | 0.11125 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 261 | | | | | | | | | MinLeafSize: 1 |
| 89 | Accept | 0.11077 | 12.551 | 0.10154 | 0.10964 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 263 | | | | | | | | | MinLeafSize: 1 |
| 90 | Accept | 0.10769 | 12.461 | 0.10154 | 0.10895 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 91 | Accept | 0.10769 | 12.168 | 0.10154 | 0.10907 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 254 | | | | | | | | | MinLeafSize: 1 |
| 92 | Accept | 0.10462 | 12.397 | 0.10154 | 0.10811 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 93 | Accept | 0.16308 | 11.293 | 0.10154 | 0.10882 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 255 | | | | | | | | | MinLeafSize: 1 |
| 94 | Accept | 0.10769 | 12.364 | 0.10154 | 0.10734 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 255 | | | | | | | | | MinLeafSize: 1 |
| 95 | Accept | 0.11385 | 12.225 | 0.10154 | 0.10821 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 255 | | | | | | | | | MinLeafSize: 1 |
| 96 | Accept | 0.10769 | 12.369 | 0.10154 | 0.10809 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 97 | Accept | 0.11077 | 12.488 | 0.10154 | 0.10714 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 258 | | | | | | | | | MinLeafSize: 1 |
| 98 | Accept | 0.10769 | 12.439 | 0.10154 | 0.10802 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 2 |
| 99 | Accept | 0.10769 | 12.361 | 0.10154 | 0.1069 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 2 |
| 100 | Accept | 0.11692 | 12.373 | 0.10154 | 0.10736 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 2 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 101 | Accept | 0.16308 | 10.816 | 0.10154 | 0.10799 | ensemble | Method: LogitBoost | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 102 | Accept | 0.11385 | 9.9363 | 0.10154 | 0.10789 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 210 | | | | | | | | | MinLeafSize: 1 |
| 103 | Accept | 0.11385 | 10.353 | 0.10154 | 0.11056 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 1 |
| 104 | Accept | 0.12 | 10.401 | 0.10154 | 0.11008 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 105 | Accept | 0.11077 | 11.72 | 0.10154 | 0.10913 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 293 | | | | | | | | | MinLeafSize: 1 |
| 106 | Accept | 0.10769 | 10.452 | 0.10154 | 0.10878 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 1 |
| 107 | Accept | 0.10769 | 10.517 | 0.10154 | 0.10934 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 108 | Accept | 0.11077 | 8.3766 | 0.10154 | 0.10939 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 207 | | | | | | | | | MinLeafSize: 1 |
| 109 | Accept | 0.10769 | 10.549 | 0.10154 | 0.10883 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 261 | | | | | | | | | MinLeafSize: 1 |
| 110 | Accept | 0.11692 | 10.478 | 0.10154 | 0.10961 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 259 | | | | | | | | | MinLeafSize: 4 |
| 111 | Accept | 0.11385 | 12.05 | 0.10154 | 0.10869 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 295 | | | | | | | | | MinLeafSize: 2 |
| 112 | Accept | 0.12 | 11.95 | 0.10154 | 0.1083 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 294 | | | | | | | | | MinLeafSize: 1 |
| 113 | Accept | 0.11385 | 10.329 | 0.10154 | 0.10891 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 255 | | | | | | | | | MinLeafSize: 1 |
| 114 | Accept | 0.11077 | 11.196 | 0.10154 | 0.10922 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 260 | | | | | | | | | MinLeafSize: 2 |
| 115 | Accept | 0.10462 | 12.305 | 0.10154 | 0.10804 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 116 | Accept | 0.11385 | 12.352 | 0.10154 | 0.10886 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 4 |
| 117 | Best | 0.098462 | 9.241 | 0.098462 | 0.10878 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 1 |
| 118 | Accept | 0.10769 | 9.6282 | 0.098462 | 0.10917 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 1 |
| 119 | Accept | 0.11077 | 8.5028 | 0.098462 | 0.10922 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 1 |
| 120 | Accept | 0.12615 | 9.0029 | 0.098462 | 0.10942 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 1 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 121 | Accept | 0.11385 | 10.752 | 0.098462 | 0.10963 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 2 |
| 122 | Accept | 0.10769 | 10.986 | 0.098462 | 0.1089 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 1 |
| 123 | Accept | 0.10462 | 10.936 | 0.098462 | 0.10864 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 124 | Accept | 0.11077 | 10.384 | 0.098462 | 0.10889 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 125 | Accept | 0.10769 | 10.391 | 0.098462 | 0.10903 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 126 | Accept | 0.11385 | 8.3687 | 0.098462 | 0.10863 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 202 | | | | | | | | | MinLeafSize: 1 |
| 127 | Accept | 0.11385 | 10.703 | 0.098462 | 0.10838 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 261 | | | | | | | | | MinLeafSize: 1 |
| 128 | Accept | 0.11077 | 9.8426 | 0.098462 | 0.10872 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 243 | | | | | | | | | MinLeafSize: 1 |
| 129 | Accept | 0.11077 | 8.1229 | 0.098462 | 0.10861 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 202 | | | | | | | | | MinLeafSize: 1 |
| 130 | Accept | 0.11385 | 10.625 | 0.098462 | 0.10918 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 1 |
| 131 | Accept | 0.11077 | 10.54 | 0.098462 | 0.10936 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 254 | | | | | | | | | MinLeafSize: 1 |
| 132 | Accept | 0.11077 | 10.936 | 0.098462 | 0.10902 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 133 | Accept | 0.12923 | 10.934 | 0.098462 | 0.1098 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 1 |
| 134 | Accept | 0.11077 | 10.599 | 0.098462 | 0.10985 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | MinLeafSize: 1 |
| 135 | Accept | 0.10769 | 8.3652 | 0.098462 | 0.10981 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 200 | | | | | | | | | MinLeafSize: 1 |
| 136 | Accept | 0.10769 | 8.6695 | 0.098462 | 0.1097 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 2 |
| 137 | Accept | 0.11385 | 8.1568 | 0.098462 | 0.10997 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 200 | | | | | | | | | MinLeafSize: 1 |
| 138 | Accept | 0.10769 | 8.1314 | 0.098462 | 0.10951 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 200 | | | | | | | | | MinLeafSize: 2 |
| 139 | Accept | 0.11385 | 8.1919 | 0.098462 | 0.11039 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 200 | | | | | | | | | MinLeafSize: 1 |
| 140 | Accept | 0.11385 | 11.537 | 0.098462 | 0.10919 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 261 | | | | | | | | | MinLeafSize: 2 |
|====================================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | result | | runtime | (observed) | (estim.) | | | |====================================================================================================================| | 141 | Accept | 0.10769 | 8.5051 | 0.098462 | 0.10985 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 2 |
| 142 | Accept | 0.11692 | 9.7003 | 0.098462 | 0.10953 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 236 | | | | | | | | | MinLeafSize: 2 |
| 143 | Accept | 0.10462 | 11.018 | 0.098462 | 0.10932 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 262 | | | | | | | | | MinLeafSize: 1 |
| 144 | Accept | 0.12308 | 11.197 | 0.098462 | 0.10945 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 262 | | | | | | | | | MinLeafSize: 1 |
| 145 | Accept | 0.11692 | 8.3426 | 0.098462 | 0.11056 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 2 |
| 146 | Accept | 0.11692 | 8.728 | 0.098462 | 0.10939 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 4 |
| 147 | Accept | 0.11692 | 10.952 | 0.098462 | 0.11014 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 259 | | | | | | | | | MinLeafSize: 1 |
| 148 | Accept | 0.12 | 8.5123 | 0.098462 | 0.10999 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 201 | | | | | | | | | MinLeafSize: 1 |
| 149 | Accept | 0.11077 | 10.694 | 0.098462 | 0.11039 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | MinLeafSize: 2 |
| 150 | Accept | 0.10769 | 10.999 | 0.098462 | 0.10991 | ensemble | Method: Bag | | | | | | | | | NumLearningCycles: 260 | | | | | | | | | MinLeafSize: 1 |
__________________________________________________________ Optimization completed. MaxObjectiveEvaluations of 150 reached. Total function evaluations: 150 Total elapsed time: 1758.9912 seconds. Total objective function evaluation time: 985.2563 Best observed feasible point is an ensemble model with: Method: Bag NumLearningCycles: 201 MinLeafSize: 1 Observed objective function value = 0.098462 Estimated objective function value = 0.11265 Function evaluation time = 9.241 Best estimated feasible point (according to models) is an ensemble model with: Method: Bag NumLearningCycles: 256 MinLeafSize: 1 Estimated objective function value = 0.10991 Estimated function evaluation time = 11.0259
Итоговая модель возвращена fitcauto
соответствует лучшей предполагаемой допустимой точке. Прежде, чем возвратить модель, функция переобучает его с помощью целых обучающих данных (carsTrain
), перечисленный Learner
(или модель) тип и отображенные гиперзначения параметров.
Оцените производительность набора тестов
Оцените производительность модели на наборе тестов.
testAccuracy = 1 - loss(Mdl,carsTest,'Origin')
testAccuracy = 0.9520
confusionchart(carsTest.Origin,predict(Mdl,carsTest))
Этот пример использует:
Используйте fitcauto
автоматически выбрать модель классификации оптимизированными гиперпараметрами, учитывая предиктор и данные об ответе, хранимые в отдельных переменных.
Загрузка данных
Загрузите humanactivity
набор данных. Этот набор данных содержит 24 075 наблюдений за пятью физической деятельностью человека: Находясь (1), Стоя (2), Идя (3), Запускаясь (4), и Танцуя (5). Каждое наблюдение имеет 60 функций, извлеченных из ускоряющих данных, измеренных датчиками акселерометра смартфона. Переменная feat
содержит матрицу данных предиктора 60 функций этих 24 075 наблюдений и переменную отклика actid
содержит идентификаторы действия для наблюдений как целые числа.
load humanactivity
Данные о разделе
Разделите данные в наборы обучающих данных и наборы тестов. Используйте 90% наблюдений, чтобы выбрать модель, и 10% наблюдений, чтобы подтвердить итоговую модель, возвращенную fitcauto
. Используйте cvpartition
зарезервировать 10% наблюдений для тестирования.
rng('default') % For reproducibility of the partition c = cvpartition(actid,'Holdout',0.10); trainingIndices = training(c); % Indices for the training set XTrain = feat(trainingIndices,:); YTrain = actid(trainingIndices); testIndices = test(c); % Indices for the test set XTest = feat(testIndices,:); YTest = actid(testIndices);
Запустите fitcauto
Передайте обучающие данные fitcauto
. По умолчанию, fitcauto
определяет соответствующую модель (или ученик) типы, чтобы попробовать, использует Байесовую оптимизацию, чтобы найти хорошие гиперзначения параметров для тех моделей и возвращает обученную модель с лучшей ожидаемой производительностью. Задайте, чтобы запуститься, оптимизация параллельно (требует Parallel Computing Toolbox™). Возвратите второй выход OptimizationResults
это содержит детали Байесовой оптимизации.
Ожидайте, что этот процесс выбора модели займет время.
options = struct('UseParallel',true); [Mdl,OptimizationResults] = fitcauto(XTrain,YTrain,'HyperparameterOptimizationOptions',options);
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
Starting parallel pool (parpool) using the 'local' profile ... Connected to the parallel pool (number of workers: 6). Copying objective function to workers... Done copying objective function to workers.
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 1 | 6 | Best | 0.28088 | 51.451 | 0.28088 | 0.28088 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.22686 | | | | | | | | | | KernelScale: 330.4 |
| 2 | 5 | Accept | 0.036413 | 60.195 | 0.025845 | 0.11438 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 254 | | | | | | | | | | MinLeafSize: 1786 | | | | | | | | | | MaxNumSplits: 12 | | 3 | 5 | Best | 0.025845 | 5.5008 | 0.025845 | 0.11438 | tree | MinLeafSize: 59 |
| 4 | 6 | Best | 0.017722 | 6.6481 | 0.017722 | 0.021702 | tree | MinLeafSize: 9 |
| 5 | 6 | Accept | 0.017722 | 6.4868 | 0.017722 | 0.020592 | tree | MinLeafSize: 9 |
| 6 | 6 | Best | 0.0064611 | 79.739 | 0.0064611 | 0.020592 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 214 | | | | | | | | | | MinLeafSize: 5 | | | | | | | | | | MaxNumSplits: 23 |
| 7 | 6 | Accept | 0.050212 | 1.278 | 0.0064611 | 0.020592 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 8 | 6 | Accept | 0.050212 | 1.2476 | 0.0064611 | 0.020592 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 9 | 6 | Accept | 0.02266 | 189.95 | 0.0064611 | 0.020592 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 218 | | | | | | | | | | MinLeafSize: 2 | | | | | | | | | | MaxNumSplits: 63 |
| 10 | 6 | Accept | 0.033598 | 203.62 | 0.0064611 | 0.020592 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 264 | | | | | | | | | | MinLeafSize: 7 | | | | | | | | | | MaxNumSplits: 36 |
| 11 | 6 | Accept | 0.59166 | 28.752 | 0.0064611 | 0.020592 | nb | DistributionNames: kernel | | | | | | | | | | Width: 4.7212e-14 |
| 12 | 6 | Accept | 0.04389 | 155.77 | 0.0064611 | 0.020592 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.068467 | | | | | | | | | | KernelScale: 117.01 |
| 13 | 6 | Accept | 0.021599 | 60.254 | 0.0064611 | 0.020592 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 243 | | | | | | | | | | MinLeafSize: 1247 | | | | | | | | | | MaxNumSplits: 45 |
| 14 | 6 | Accept | 0.043567 | 23.25 | 0.0064611 | 0.020592 | knn | NumNeighbors: 144 |
| 15 | 6 | Accept | 0.028844 | 22.102 | 0.0064611 | 0.020592 | knn | NumNeighbors: 18 |
| 16 | 6 | Accept | 0.024598 | 22.408 | 0.0064611 | 0.020592 | knn | NumNeighbors: 7 |
| 17 | 6 | Accept | 0.03009 | 21.623 | 0.0064611 | 0.020592 | knn | NumNeighbors: 27 |
| 18 | 6 | Accept | 0.016891 | 7.2949 | 0.0064611 | 0.019464 | tree | MinLeafSize: 2 |
| 19 | 6 | Accept | 0.040059 | 4.3418 | 0.0064611 | 0.022968 | tree | MinLeafSize: 166 |
| 20 | 6 | Accept | 0.060319 | 2.5459 | 0.0064611 | 0.023364 | tree | MinLeafSize: 1881 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 21 | 6 | Accept | 0.050212 | 1.1819 | 0.0064611 | 0.023364 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 22 | 6 | Accept | 0.036552 | 21.442 | 0.0064611 | 0.023364 | knn | NumNeighbors: 67 |
| 23 | 6 | Accept | 0.050212 | 0.69192 | 0.0064611 | 0.023364 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 24 | 6 | Accept | 0.11076 | 37.67 | 0.0064611 | 0.023364 | knn | NumNeighbors: 2637 |
| 25 | 6 | Accept | 0.28711 | 69.473 | 0.0064611 | 0.030365 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 287 | | | | | | | | | | MinLeafSize: 4344 | | | | | | | | | | MaxNumSplits: 48 |
| 26 | 6 | Accept | 0.58127 | 32.81 | 0.0064611 | 0.030365 | nb | DistributionNames: kernel | | | | | | | | | | Width: 1.6293e-06 |
| 27 | 6 | Accept | 0.015784 | 7.406 | 0.0064611 | 0.027375 | tree | MinLeafSize: 1 |
| 28 | 6 | Accept | 0.59166 | 383.03 | 0.0064611 | 0.027375 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 790.4 | | | | | | | | | | KernelScale: 0.014348 |
| 29 | 6 | Accept | 0.069319 | 1.9964 | 0.0064611 | 0.034633 | tree | MinLeafSize: 2284 |
| 30 | 6 | Accept | 0.043336 | 3.5634 | 0.0064611 | 0.033826 | tree | MinLeafSize: 432 |
| 31 | 6 | Accept | 0.10555 | 35.914 | 0.0064611 | 0.033826 | knn | NumNeighbors: 2430 |
| 32 | 6 | Accept | 0.021183 | 6.3954 | 0.0064611 | 0.021851 | tree | MinLeafSize: 17 |
| 33 | 6 | Accept | 0.050212 | 1.098 | 0.0064611 | 0.021851 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 34 | 6 | Accept | 0.014353 | 62.709 | 0.0064611 | 0.021851 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 234 | | | | | | | | | | MinLeafSize: 587 | | | | | | | | | | MaxNumSplits: 11 |
| 35 | 6 | Accept | 0.043428 | 191.69 | 0.0064611 | 0.021851 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 288 | | | | | | | | | | MinLeafSize: 45 | | | | | | | | | | MaxNumSplits: 23 |
| 36 | 6 | Accept | 0.4226 | 559.17 | 0.0064611 | 0.021851 | nb | DistributionNames: kernel | | | | | | | | | | Width: 72.906 |
| 37 | 6 | Accept | 0.74165 | 25.64 | 0.0064611 | 0.021851 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 217 | | | | | | | | | | MinLeafSize: 8856 | | | | | | | | | | MaxNumSplits: 36 |
| 38 | 6 | Accept | 0.59166 | 27.996 | 0.0064611 | 0.021851 | nb | DistributionNames: kernel | | | | | | | | | | Width: 1.191e-07 |
| 39 | 6 | Best | 0.0041074 | 91.985 | 0.0041074 | 0.021851 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 210 | | | | | | | | | | MinLeafSize: 129 | | | | | | | | | | MaxNumSplits: 100 |
| 40 | 6 | Accept | 0.73985 | 542.35 | 0.0041074 | 0.021851 | nb | DistributionNames: kernel | | | | | | | | | | Width: 1055.8 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 41 | 5 | Accept | 0.57615 | 353.08 | 0.0041074 | 0.021851 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 2.2347 | | | | | | | | | | KernelScale: 0.16176 | | 42 | 5 | Accept | 0.087087 | 32.51 | 0.0041074 | 0.021851 | knn | NumNeighbors: 1634 |
| 43 | 6 | Accept | 0.050212 | 0.85611 | 0.0041074 | 0.021851 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 44 | 6 | Accept | 0.050212 | 0.75838 | 0.0041074 | 0.021851 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 45 | 6 | Accept | 0.025891 | 21.86 | 0.0041074 | 0.021851 | knn | NumNeighbors: 6 |
| 46 | 6 | Accept | 0.030414 | 162.3 | 0.0041074 | 0.021851 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 206 | | | | | | | | | | MinLeafSize: 5 | | | | | | | | | | MaxNumSplits: 39 |
| 47 | 6 | Accept | 0.03286 | 178.49 | 0.0041074 | 0.021851 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 234 | | | | | | | | | | MinLeafSize: 73 | | | | | | | | | | MaxNumSplits: 43 |
| 48 | 6 | Accept | 0.037244 | 156.66 | 0.0041074 | 0.021851 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 5.9571 | | | | | | | | | | KernelScale: 840.87 |
| 49 | 6 | Accept | 0.01703 | 7.0967 | 0.0041074 | 0.020426 | tree | MinLeafSize: 4 |
| 50 | 6 | Accept | 0.017168 | 6.8667 | 0.0041074 | 0.0183 | tree | MinLeafSize: 5 |
| 51 | 6 | Accept | 0.039321 | 221.28 | 0.0041074 | 0.0183 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 299 | | | | | | | | | | MinLeafSize: 31 | | | | | | | | | | MaxNumSplits: 25 |
| 52 | 6 | Accept | 0.046474 | 199.35 | 0.0041074 | 0.0183 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 2.9119 | | | | | | | | | | KernelScale: 12.771 |
| 53 | 6 | Accept | 0.59166 | 433.93 | 0.0041074 | 0.0183 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 92.735 | | | | | | | | | | KernelScale: 0.0010711 |
| 54 | 6 | Accept | 0.054135 | 3.7916 | 0.0041074 | 0.018419 | tree | MinLeafSize: 783 |
| 55 | 6 | Accept | 0.049797 | 27.695 | 0.0041074 | 0.018419 | knn | NumNeighbors: 331 |
| 56 | 6 | Accept | 0.046566 | 26.856 | 0.0041074 | 0.018419 | knn | NumNeighbors: 193 |
| 57 | 6 | Accept | 0.049197 | 188.34 | 0.0041074 | 0.018419 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 253 | | | | | | | | | | MinLeafSize: 14 | | | | | | | | | | MaxNumSplits: 22 |
| 58 | 6 | Accept | 0.022706 | 25.765 | 0.0041074 | 0.018419 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 1.3505 | | | | | | | | | | KernelScale: 127.55 |
| 59 | 6 | Accept | 0.028798 | 5.7904 | 0.0041074 | 0.018856 | tree | MinLeafSize: 84 |
| 60 | 6 | Accept | 0.041351 | 29.766 | 0.0041074 | 0.018856 | knn | NumNeighbors: 124 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 61 | 6 | Accept | 0.030044 | 28.239 | 0.0041074 | 0.018856 | knn | NumNeighbors: 26 |
| 62 | 6 | Accept | 0.11838 | 295.65 | 0.0041074 | 0.018856 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.0027874 | | | | | | | | | | KernelScale: 33.944 |
| 63 | 6 | Accept | 0.47116 | 55.67 | 0.0041074 | 0.018856 | nb | DistributionNames: kernel | | | | | | | | | | Width: 4.7553e-05 |
| 64 | 6 | Accept | 0.26574 | 104.02 | 0.0041074 | 0.018856 | nb | DistributionNames: kernel | | | | | | | | | | Width: 0.0011441 |
| 65 | 6 | Accept | 0.050212 | 0.69002 | 0.0041074 | 0.018856 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 66 | 6 | Accept | 0.017168 | 6.7802 | 0.0041074 | 0.018674 | tree | MinLeafSize: 5 |
| 67 | 6 | Accept | 0.077072 | 281.55 | 0.0041074 | 0.018674 | nb | DistributionNames: kernel | | | | | | | | | | Width: 0.026902 |
| 68 | 6 | Accept | 0.031613 | 26.638 | 0.0041074 | 0.018674 | knn | NumNeighbors: 33 |
| 69 | 6 | Accept | 0.02003 | 108.02 | 0.0041074 | 0.018674 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 609.47 | | | | | | | | | | KernelScale: 39.88 |
| 70 | 6 | Accept | 0.14141 | 92.623 | 0.0041074 | 0.018674 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 292 | | | | | | | | | | MinLeafSize: 3870 | | | | | | | | | | MaxNumSplits: 33 |
| 71 | 6 | Accept | 0.01103 | 74.107 | 0.0041074 | 0.018674 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 214 | | | | | | | | | | MinLeafSize: 203 | | | | | | | | | | MaxNumSplits: 14 |
| 72 | 6 | Accept | 0.0093225 | 78.987 | 0.0041074 | 0.018674 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 225 | | | | | | | | | | MinLeafSize: 461 | | | | | | | | | | MaxNumSplits: 45 |
| 73 | 6 | Accept | 0.0081226 | 75.993 | 0.0041074 | 0.018674 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 212 | | | | | | | | | | MinLeafSize: 224 | | | | | | | | | | MaxNumSplits: 19 |
| 74 | 6 | Accept | 0.0086302 | 75.677 | 0.0041074 | 0.011486 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 206 | | | | | | | | | | MinLeafSize: 372 | | | | | | | | | | MaxNumSplits: 66 |
| 75 | 6 | Accept | 0.012461 | 69.727 | 0.0041074 | 0.0099707 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 219 | | | | | | | | | | MinLeafSize: 602 | | | | | | | | | | MaxNumSplits: 16 |
| 76 | 6 | Accept | 0.011907 | 66.364 | 0.0041074 | 0.018674 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 206 | | | | | | | | | | MinLeafSize: 535 | | | | | | | | | | MaxNumSplits: 17 |
| 77 | 6 | Accept | 0.066227 | 125.89 | 0.0041074 | 0.0096155 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 210 | | | | | | | | | | MinLeafSize: 579 | | | | | | | | | | MaxNumSplits: 44 |
| 78 | 6 | Accept | 0.014168 | 64.533 | 0.0041074 | 0.018674 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 207 | | | | | | | | | | MinLeafSize: 670 | | | | | | | | | | MaxNumSplits: 21 |
| 79 | 6 | Accept | 0.012276 | 73.034 | 0.0041074 | 0.0096795 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 228 | | | | | | | | | | MinLeafSize: 614 | | | | | | | | | | MaxNumSplits: 94 |
| 80 | 6 | Accept | 0.017353 | 61.294 | 0.0041074 | 0.0094804 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 204 | | | | | | | | | | MinLeafSize: 772 | | | | | | | | | | MaxNumSplits: 13 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 81 | 6 | Accept | 0.01846 | 61.652 | 0.0041074 | 0.0084959 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 211 | | | | | | | | | | MinLeafSize: 879 | | | | | | | | | | MaxNumSplits: 79 |
| 82 | 6 | Accept | 0.016937 | 67.027 | 0.0041074 | 0.0092617 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 227 | | | | | | | | | | MinLeafSize: 805 | | | | | | | | | | MaxNumSplits: 20 |
| 83 | 6 | Accept | 0.012876 | 256.48 | 0.0041074 | 0.0092617 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 501.55 | | | | | | | | | | KernelScale: 190.02 |
| 84 | 6 | Accept | 0.017537 | 61.538 | 0.0041074 | 0.0091728 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 207 | | | | | | | | | | MinLeafSize: 836 | | | | | | | | | | MaxNumSplits: 40 |
| 85 | 6 | Accept | 0.01463 | 43.6 | 0.0041074 | 0.0091728 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 397.97 | | | | | | | | | | KernelScale: 310.04 |
| 86 | 6 | Accept | 0.025522 | 24.217 | 0.0041074 | 0.0091728 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 36.55 | | | | | | | | | | KernelScale: 658.03 |
| 87 | 6 | Accept | 0.01703 | 68.966 | 0.0041074 | 0.0092732 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 230 | | | | | | | | | | MinLeafSize: 822 | | | | | | | | | | MaxNumSplits: 22 |
| 88 | 6 | Accept | 0.021137 | 114.19 | 0.0041074 | 0.0092732 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 593.64 | | | | | | | | | | KernelScale: 37.983 |
| 89 | 6 | Accept | 0.59166 | 2089.7 | 0.0041074 | 0.0092732 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.045413 | | | | | | | | | | KernelScale: 0.0034709 |
| 90 | 6 | Accept | 0.019799 | 57.157 | 0.0041074 | 0.0089505 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 202 | | | | | | | | | | MinLeafSize: 962 | | | | | | | | | | MaxNumSplits: 81 |
| 91 | 6 | Accept | 0.085472 | 118.41 | 0.0041074 | 0.0089505 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 855.69 | | | | | | | | | | KernelScale: 6.5486 |
| 92 | 6 | Accept | 0.02003 | 59.729 | 0.0041074 | 0.0095371 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 216 | | | | | | | | | | MinLeafSize: 1004 | | | | | | | | | | MaxNumSplits: 12 |
| 93 | 6 | Accept | 0.019845 | 58.677 | 0.0041074 | 0.0095584 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 208 | | | | | | | | | | MinLeafSize: 926 | | | | | | | | | | MaxNumSplits: 32 |
| 94 | 6 | Accept | 0.021506 | 59.315 | 0.0041074 | 0.011473 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 216 | | | | | | | | | | MinLeafSize: 1063 | | | | | | | | | | MaxNumSplits: 82 |
| 95 | 6 | Accept | 0.022383 | 55.893 | 0.0041074 | 0.0091004 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 205 | | | | | | | | | | MinLeafSize: 1150 | | | | | | | | | | MaxNumSplits: 11 |
| 96 | 6 | Accept | 0.054966 | 273.69 | 0.0041074 | 0.0091004 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 550 | | | | | | | | | | KernelScale: 10.56 |
| 97 | 6 | Accept | 0.021322 | 64.607 | 0.0041074 | 0.0089091 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 229 | | | | | | | | | | MinLeafSize: 1111 | | | | | | | | | | MaxNumSplits: 52 |
| 98 | 6 | Accept | 0.021691 | 60.128 | 0.0041074 | 0.0083855 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 213 | | | | | | | | | | MinLeafSize: 1112 | | | | | | | | | | MaxNumSplits: 14 |
| 99 | 6 | Accept | 0.59166 | 2658.6 | 0.0041074 | 0.0083855 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.98129 | | | | | | | | | | KernelScale: 0.0054937 |
| 100 | 6 | Accept | 0.22499 | 820.13 | 0.0041074 | 0.0083855 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 869.37 | | | | | | | | | | KernelScale: 1.5553 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 101 | 6 | Accept | 0.021691 | 63.07 | 0.0041074 | 0.008821 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 228 | | | | | | | | | | MinLeafSize: 1180 | | | | | | | | | | MaxNumSplits: 83 |
| 102 | 6 | Accept | 0.02206 | 57.161 | 0.0041074 | 0.0095876 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 207 | | | | | | | | | | MinLeafSize: 1208 | | | | | | | | | | MaxNumSplits: 17 |
| 103 | 6 | Accept | 0.022014 | 59.267 | 0.0041074 | 0.0094147 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 217 | | | | | | | | | | MinLeafSize: 1187 | | | | | | | | | | MaxNumSplits: 61 |
| 104 | 6 | Accept | 0.23763 | 216.82 | 0.0041074 | 0.0094147 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 512.6 | | | | | | | | | | KernelScale: 1.2736 |
| 105 | 6 | Accept | 0.050212 | 0.76452 | 0.0041074 | 0.0094147 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 106 | 6 | Accept | 0.023352 | 259.58 | 0.0041074 | 0.010382 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 220 | | | | | | | | | | MinLeafSize: 1372 | | | | | | | | | | MaxNumSplits: 96 |
| 107 | 6 | Accept | 0.022983 | 60.428 | 0.0041074 | 0.0092473 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 219 | | | | | | | | | | MinLeafSize: 1293 | | | | | | | | | | MaxNumSplits: 25 |
| 108 | 6 | Accept | 0.022568 | 62.238 | 0.0041074 | 0.0094314 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 231 | | | | | | | | | | MinLeafSize: 1344 | | | | | | | | | | MaxNumSplits: 19 |
| 109 | 6 | Accept | 0.025383 | 59.558 | 0.0041074 | 0.0091873 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 222 | | | | | | | | | | MinLeafSize: 1404 | | | | | | | | | | MaxNumSplits: 12 |
| 110 | 6 | Accept | 0.022522 | 65.564 | 0.0041074 | 0.009405 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 243 | | | | | | | | | | MinLeafSize: 1360 | | | | | | | | | | MaxNumSplits: 14 |
| 111 | 6 | Accept | 0.022799 | 61.264 | 0.0041074 | 0.0091171 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 226 | | | | | | | | | | MinLeafSize: 1356 | | | | | | | | | | MaxNumSplits: 90 |
| 112 | 6 | Accept | 0.058935 | 45.569 | 0.0041074 | 0.0096787 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 207 | | | | | | | | | | MinLeafSize: 2521 | | | | | | | | | | MaxNumSplits: 33 |
| 113 | 6 | Accept | 0.022937 | 64.08 | 0.0041074 | 0.0087354 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 231 | | | | | | | | | | MinLeafSize: 1383 | | | | | | | | | | MaxNumSplits: 88 |
| 114 | 6 | Accept | 0.027783 | 59.671 | 0.0041074 | 0.012899 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 224 | | | | | | | | | | MinLeafSize: 1551 | | | | | | | | | | MaxNumSplits: 20 |
| 115 | 6 | Accept | 0.027737 | 53.366 | 0.0041074 | 0.0096795 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 203 | | | | | | | | | | MinLeafSize: 1548 | | | | | | | | | | MaxNumSplits: 11 |
| 116 | 6 | Accept | 0.027137 | 62.9 | 0.0041074 | 0.009529 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 227 | | | | | | | | | | MinLeafSize: 1479 | | | | | | | | | | MaxNumSplits: 10 |
| 117 | 6 | Accept | 0.59166 | 3642 | 0.0041074 | 0.009529 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 658.37 | | | | | | | | | | KernelScale: 0.0016161 |
| 118 | 6 | Accept | 0.23163 | 1370.3 | 0.0041074 | 0.009529 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 720.53 | | | | | | | | | | KernelScale: 1.1039 |
| 119 | 6 | Accept | 0.027183 | 58.796 | 0.0041074 | 0.0097206 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 223 | | | | | | | | | | MinLeafSize: 1544 | | | | | | | | | | MaxNumSplits: 25 |
| 120 | 6 | Accept | 0.027091 | 62.912 | 0.0041074 | 0.0086543 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 238 | | | | | | | | | | MinLeafSize: 1499 | | | | | | | | | | MaxNumSplits: 42 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 121 | 6 | Accept | 0.59166 | 3676.1 | 0.0041074 | 0.0086543 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 17.982 | | | | | | | | | | KernelScale: 0.0043756 |
| 122 | 6 | Accept | 0.027783 | 56.988 | 0.0041074 | 0.0095236 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 225 | | | | | | | | | | MinLeafSize: 1551 | | | | | | | | | | MaxNumSplits: 38 |
| 123 | 6 | Accept | 0.22896 | 1222.6 | 0.0041074 | 0.0095236 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 30.726 | | | | | | | | | | KernelScale: 1.2194 |
| 124 | 6 | Accept | 0.028706 | 53.614 | 0.0041074 | 0.0094105 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 213 | | | | | | | | | | MinLeafSize: 1571 | | | | | | | | | | MaxNumSplits: 64 |
| 125 | 6 | Accept | 0.026906 | 68.419 | 0.0041074 | 0.0096214 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 256 | | | | | | | | | | MinLeafSize: 1548 | | | | | | | | | | MaxNumSplits: 72 |
| 126 | 6 | Accept | 0.040705 | 51.812 | 0.0041074 | 0.0096155 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 206 | | | | | | | | | | MinLeafSize: 2028 | | | | | | | | | | MaxNumSplits: 12 |
| 127 | 6 | Accept | 0.10901 | 491.59 | 0.0041074 | 0.0096155 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 317.07 | | | | | | | | | | KernelScale: 3.345 |
| 128 | 6 | Accept | 0.038813 | 50.737 | 0.0041074 | 0.0094473 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 215 | | | | | | | | | | MinLeafSize: 1857 | | | | | | | | | | MaxNumSplits: 77 |
| 129 | 6 | Accept | 0.04269 | 56.006 | 0.0041074 | 0.01155 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 250 | | | | | | | | | | MinLeafSize: 2192 | | | | | | | | | | MaxNumSplits: 17 |
| 130 | 6 | Best | 0.0040151 | 144.99 | 0.0040151 | 0.0076249 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 286 | | | | | | | | | | MinLeafSize: 133 | | | | | | | | | | MaxNumSplits: 91 |
| 131 | 6 | Accept | 0.039505 | 54.552 | 0.0040151 | 0.0093087 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 234 | | | | | | | | | | MinLeafSize: 2016 | | | | | | | | | | MaxNumSplits: 15 |
| 132 | 6 | Accept | 0.039921 | 49.255 | 0.0040151 | 0.0077926 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 215 | | | | | | | | | | MinLeafSize: 1997 | | | | | | | | | | MaxNumSplits: 77 |
| 133 | 6 | Accept | 0.048182 | 48.846 | 0.0040151 | 0.0086785 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 213 | | | | | | | | | | MinLeafSize: 2243 | | | | | | | | | | MaxNumSplits: 13 |
| 134 | 6 | Accept | 0.041859 | 66.081 | 0.0040151 | 0.0079912 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 263 | | | | | | | | | | MinLeafSize: 2099 | | | | | | | | | | MaxNumSplits: 32 |
| 135 | 6 | Accept | 0.046105 | 68.865 | 0.0040151 | 0.0078968 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 287 | | | | | | | | | | MinLeafSize: 2342 | | | | | | | | | | MaxNumSplits: 12 |
| 136 | 6 | Accept | 0.0042459 | 150.03 | 0.0040151 | 0.008766 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 297 | | | | | | | | | | MinLeafSize: 163 | | | | | | | | | | MaxNumSplits: 92 |
| 137 | 6 | Accept | 0.046289 | 62.375 | 0.0040151 | 0.012639 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 273 | | | | | | | | | | MinLeafSize: 2260 | | | | | | | | | | MaxNumSplits: 67 |
| 138 | 6 | Accept | 0.044028 | 53.269 | 0.0040151 | 0.0092674 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 224 | | | | | | | | | | MinLeafSize: 2190 | | | | | | | | | | MaxNumSplits: 12 |
| 139 | 6 | Accept | 0.04892 | 45.442 | 0.0040151 | 0.006892 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 207 | | | | | | | | | | MinLeafSize: 2354 | | | | | | | | | | MaxNumSplits: 17 |
| 140 | 6 | Accept | 0.11515 | 99.696 | 0.0040151 | 0.0093722 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 281 | | | | | | | | | | MinLeafSize: 2297 | | | | | | | | | | MaxNumSplits: 30 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 141 | 6 | Accept | 0.10845 | 91.18 | 0.0040151 | 0.0065827 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 254 | | | | | | | | | | MinLeafSize: 2275 | | | | | | | | | | MaxNumSplits: 37 |
| 142 | 6 | Accept | 0.74165 | 34.944 | 0.0040151 | 0.0072537 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 253 | | | | | | | | | | MinLeafSize: 8804 | | | | | | | | | | MaxNumSplits: 11 |
| 143 | 6 | Best | 0.0038767 | 158.75 | 0.0038767 | 0.0057394 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 294 | | | | | | | | | | MinLeafSize: 106 | | | | | | | | | | MaxNumSplits: 94 |
| 144 | 6 | Accept | 0.04592 | 64.846 | 0.0038767 | 0.0062301 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 290 | | | | | | | | | | MinLeafSize: 2326 | | | | | | | | | | MaxNumSplits: 34 |
| 145 | 6 | Accept | 0.047074 | 55.822 | 0.0038767 | 0.0062084 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | | MinLeafSize: 2345 | | | | | | | | | | MaxNumSplits: 60 |
| 146 | 6 | Accept | 0.04832 | 50.283 | 0.0038767 | 0.0092604 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 227 | | | | | | | | | | MinLeafSize: 2350 | | | | | | | | | | MaxNumSplits: 19 |
| 147 | 6 | Accept | 0.016107 | 26.377 | 0.0038767 | 0.0092604 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 94.982 | | | | | | | | | | KernelScale: 222.61 |
| 148 | 6 | Accept | 0.050166 | 53.779 | 0.0038767 | 0.0068092 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 233 | | | | | | | | | | MinLeafSize: 2407 | | | | | | | | | | MaxNumSplits: 20 |
| 149 | 6 | Accept | 0.058196 | 46.596 | 0.0038767 | 0.0063746 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 210 | | | | | | | | | | MinLeafSize: 2469 | | | | | | | | | | MaxNumSplits: 17 |
| 150 | 6 | Accept | 0.067519 | 48.158 | 0.0038767 | 0.0065889 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 233 | | | | | | | | | | MinLeafSize: 3054 | | | | | | | | | | MaxNumSplits: 68 |
__________________________________________________________ Optimization completed. MaxObjectiveEvaluations of 150 reached. Total function evaluations: 150 Total elapsed time: 5515.7636 seconds. Total objective function evaluation time: 27568.0193 Best observed feasible point is an ensemble model with: Method: AdaBoostM2 NumLearningCycles: 294 MinLeafSize: 106 MaxNumSplits: 94 Observed objective function value = 0.0038767 Estimated objective function value = 0.006912 Function evaluation time = 158.7495 Best estimated feasible point (according to models) is an ensemble model with: Method: AdaBoostM2 NumLearningCycles: 210 MinLeafSize: 129 MaxNumSplits: 100 Estimated objective function value = 0.0065889 Estimated function evaluation time = 129.4444
Итоговая модель возвращена fitcauto
соответствует лучшей предполагаемой допустимой точке. Прежде, чем возвратить модель, функция переобучает его с помощью целых обучающих данных (XTrain
и YTrain
), перечисленный Learner
(или модель) тип и отображенные гиперзначения параметров.
Оцените производительность набора тестов
Оцените итоговую производительность модели на наборе тестовых данных.
testAccuracy = 1 - loss(Mdl,XTest,YTest)
testAccuracy = 0.9963
Итоговая модель правильно классифицирует более чем 99% наблюдений.
Этот пример использует:
Используйте fitcauto
автоматически выбрать модель классификации оптимизированными гиперпараметрами, учитывая предиктор и данные об ответе, хранимые в таблице. Перед передающими данными к fitcauto
, выполните выбор признаков, чтобы удалить неважные предикторы из набора данных.
Загрузка и данные о разделе
Считайте файл примера CreditRating_Historical.dat
в таблицу. Данные о предикторе состоят из финансовых отношений и информации об отрасли промышленности для списка корпоративных клиентов. Переменная отклика состоит из кредитных рейтингов, присвоенных рейтинговым агентством. Предварительно просмотрите первые несколько строк набора данных.
creditrating = readtable('CreditRating_Historical.dat');
head(creditrating)
ans=8×8 table
ID WC_TA RE_TA EBIT_TA MVE_BVTD S_TA Industry Rating
_____ ______ ______ _______ ________ _____ ________ _______
62394 0.013 0.104 0.036 0.447 0.142 3 {'BB' }
48608 0.232 0.335 0.062 1.969 0.281 8 {'A' }
42444 0.311 0.367 0.074 1.935 0.366 1 {'A' }
48631 0.194 0.263 0.062 1.017 0.228 4 {'BBB'}
43768 0.121 0.413 0.057 3.647 0.466 12 {'AAA'}
39255 -0.117 -0.799 0.01 0.179 0.082 4 {'CCC'}
62236 0.087 0.158 0.049 0.816 0.324 2 {'BBB'}
39354 0.005 0.181 0.034 2.597 0.388 7 {'AA' }
Поскольку каждое значение в ID
переменная является уникальным идентификатором клиента, то есть, length(unique(creditrating.ID))
равно количеству наблюдений в creditrating
, ID
переменная является плохим предиктором. Удалите ID
переменная из таблицы, и преобразует Industry
переменная к categorical
переменная.
creditrating = removevars(creditrating,'ID');
creditrating.Industry = categorical(creditrating.Industry);
Разделите данные в наборы обучающих данных и наборы тестов. Используйте приблизительно 85% наблюдений для выбора модели и настраивающего процесса гиперпараметра, и 15% наблюдений, чтобы проверить производительность итоговой модели, возвращенной fitcauto
на новых данных. Используйте cvpartition
разделить данные.
rng('default') % For reproducibility of the partition c = cvpartition(creditrating.Rating,'Holdout',0.15); trainingIndices = training(c); % Indices for the training set testIndices = test(c); % Indices for the test set creditTrain = creditrating(trainingIndices,:); creditTest = creditrating(testIndices,:);
Выполните выбор признаков
Прежде, чем передать обучающие данные fitcauto
, найдите важные предикторы при помощи fscchi2
функция. Визуализируйте баллы предиктора при помощи bar
функция. Поскольку некоторыми баллами может быть Inf
, и bar
отбрасывания Inf
значения, постройте конечные баллы сначала и затем постройте конечное представление Inf
баллы в различном цвете.
[idx,scores] = fscchi2(creditTrain,'Rating'); bar(scores(idx)) % Represents finite scores hold on veryImportant = isinf(scores); finiteMax = max(scores(~veryImportant)); bar(finiteMax*veryImportant(idx)) % Represents Inf scores hold off xticklabels(strrep(creditTrain.Properties.VariableNames(idx),'_','\_')) xtickangle(45) legend({'Finite Scores','Inf Scores'})
Заметьте что Industry
предиктор имеет низкий балл, соответствующий p-значению, которое больше 0.05, который указывает на тот Industry
не может быть важная функция. Удалите Industry
покажите от наборов тестовых данных и обучения.
creditTrain = removevars(creditTrain,'Industry'); creditTest = removevars(creditTest,'Industry');
Запустите fitcauto
fitcauto
не поддерживает таблицы для линейного или модели классификации ядер. Чтобы включать они моделируют (или ученик) типы, преобразуют данные о предикторе в матричную форму прежде, чем передать обучающие данные fitcauto
. Преобразуйте тестовые данные также. Это преобразование возможно, потому что все остающиеся предикторы являются числовыми.
predictorTrain = removevars(creditTrain,'Rating'); XTrain = table2array(predictorTrain); YTrain = creditTrain.Rating; predictorTest = removevars(creditTest,'Rating'); XTest = table2array(predictorTest); YTest = creditTest.Rating;
Передайте обучающие данные fitcauto
. Функция использует Байесовую оптимизацию, чтобы выбрать модели и их гиперзначения параметров, и возвращает обученную модель Mdl
с лучшей ожидаемой производительностью. Задайте, чтобы попробовать все доступные типы ученика и запуститься, оптимизация параллельно (требует Parallel Computing Toolbox™). Возвратите второй выход Results
это содержит детали Байесовой оптимизации.
Ожидайте, что этот процесс займет время.
options = struct('UseParallel',true); [Mdl,Results] = fitcauto(XTrain,YTrain, ... 'Learners','all','HyperparameterOptimizationOptions',options);
Warning: It is recommended that you first standardize all numeric predictors when optimizing the Naive Bayes 'Width' parameter. Ignore this warning if you have done that.
Starting parallel pool (parpool) using the 'local' profile ... Connected to the parallel pool (number of workers: 6). Copying objective function to workers... Done copying objective function to workers.
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 1 | 6 | Best | 0.42716 | 2.8649 | 0.42716 | 0.42716 | discr | Delta: 0.00046441 | | | | | | | | | | Gamma: 0.2485 |
| 2 | 4 | Accept | 0.74185 | 5.0967 | 0.24948 | 0.42911 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.48455 | | | | | | | | | | KernelScale: 354.44 | | 3 | 4 | Best | 0.24948 | 4.9586 | 0.24948 | 0.42911 | linear | Coding: onevsone | | | | | | | | | | Lambda: 6.3551e-08 | | | | | | | | | | Learner: logistic | | 4 | 4 | Accept | 0.29794 | 3.246 | 0.24948 | 0.42911 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 12 | | | | | | | | | | LearnRate: 0.063776 | | | | | | | | | | MinLeafSize: 277 |
| 5 | 3 | Best | 0.24708 | 9.215 | 0.24708 | 0.36903 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 7.8433 | | | | | | | | | | Lambda: 1.4468e-06 | | 6 | 3 | Accept | 0.25067 | 0.65429 | 0.24708 | 0.36903 | knn | NumNeighbors: 105 | | | | | | | | | | Distance: minkowski |
| 7 | 6 | Accept | 0.52917 | 2.9984 | 0.24708 | 0.63551 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.002417 | | | | | | | | | | KernelScale: 356.9 |
| 8 | 3 | Accept | 0.55818 | 0.61959 | 0.24708 | 0.58763 | discr | Delta: 0.98612 | | | | | | | | | | Gamma: 0.86519 | | 9 | 3 | Accept | 0.3781 | 1.7268 | 0.24708 | 0.58763 | linear | Coding: onevsall | | | | | | | | | | Lambda: 1.0412e-06 | | | | | | | | | | Learner: logistic | | 10 | 3 | Accept | 0.43225 | 0.73455 | 0.24708 | 0.58763 | discr | Delta: 0.00013711 | | | | | | | | | | Gamma: 0.60585 | | 11 | 3 | Accept | 0.47712 | 4.1471 | 0.24708 | 0.58763 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 2.7347 | | | | | | | | | | KernelScale: 24.465 |
| 12 | 6 | Accept | 0.25695 | 2.4614 | 0.24708 | 0.58763 | nb | DistributionNames: kernel | | | | | | | | | | Width: 0.057566 |
| 13 | 3 | Accept | 0.26383 | 0.54745 | 0.24379 | 0.58763 | tree | MinLeafSize: 30 | | 14 | 3 | Accept | 0.42327 | 0.84715 | 0.24379 | 0.58763 | knn | NumNeighbors: 56 | | | | | | | | | | Distance: cosine | | 15 | 3 | Best | 0.24379 | 2.0052 | 0.24379 | 0.58763 | linear | Coding: onevsone | | | | | | | | | | Lambda: 5.9172e-05 | | | | | | | | | | Learner: svm | | 16 | 3 | Accept | 0.82112 | 5.0159 | 0.24379 | 0.58763 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 0.0043375 | | | | | | | | | | Lambda: 0.0023789 |
| 17 | 6 | Accept | 0.45169 | 1.0941 | 0.24379 | 0.32154 | linear | Coding: onevsall | | | | | | | | | | Lambda: 0.0028505 | | | | | | | | | | Learner: svm |
| 18 | 3 | Accept | 0.53365 | 2.9722 | 0.24379 | 0.31096 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.0022255 | | | | | | | | | | KernelScale: 206.47 | | 19 | 3 | Accept | 0.74185 | 0.69997 | 0.24379 | 0.31096 | discr | Delta: 788.29 | | | | | | | | | | Gamma: 0.096315 | | 20 | 3 | Accept | 0.39186 | 3.7201 | 0.24379 | 0.31096 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 22.787 | | | | | | | | | | Lambda: 4.7789e-05 | |==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 21 | 3 | Accept | 0.24439 | 1.7527 | 0.24379 | 0.31096 | linear | Coding: onevsone | | | | | | | | | | Lambda: 1.9056e-08 | | | | | | | | | | Learner: svm |
| 22 | 6 | Accept | 0.4834 | 0.42353 | 0.24379 | 0.31096 | knn | NumNeighbors: 72 | | | | | | | | | | Distance: correlation |
| 23 | 3 | Accept | 0.74185 | 0.12006 | 0.24379 | 0.31096 | tree | MinLeafSize: 1558 | | 24 | 3 | Accept | 0.27042 | 0.67315 | 0.24379 | 0.31096 | tree | MinLeafSize: 76 | | 25 | 3 | Accept | 0.45887 | 4.6976 | 0.24379 | 0.31096 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 7.1247 | | | | | | | | | | KernelScale: 0.9781 | | 26 | 3 | Accept | 0.28208 | 0.88675 | 0.24379 | 0.31096 | knn | NumNeighbors: 291 | | | | | | | | | | Distance: minkowski |
| 27 | 6 | Accept | 0.43255 | 0.13008 | 0.24379 | 0.31096 | discr | Delta: 0.016844 | | | | | | | | | | Gamma: 0.64466 |
| 28 | 4 | Accept | 0.66796 | 0.25188 | 0.24379 | 0.31096 | knn | NumNeighbors: 77 | | | | | | | | | | Distance: jaccard | | 29 | 4 | Accept | 0.28059 | 0.44707 | 0.24379 | 0.31096 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN | | 30 | 4 | Accept | 0.65869 | 0.38657 | 0.24379 | 0.31096 | knn | NumNeighbors: 61 | | | | | | | | | | Distance: jaccard |
| 31 | 3 | Accept | 0.74185 | 6.6038 | 0.24379 | 0.31096 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.0010962 | | | | | | | | | | Lambda: 0.035691 | | 32 | 3 | Accept | 0.27789 | 0.11562 | 0.24379 | 0.31096 | tree | MinLeafSize: 94 |
| 33 | 6 | Accept | 0.74185 | 0.096361 | 0.24379 | 0.31096 | discr | Delta: 244.12 | | | | | | | | | | Gamma: 0.23748 |
| 34 | 3 | Accept | 0.32456 | 0.18499 | 0.24349 | 0.31096 | tree | MinLeafSize: 3 | | 35 | 3 | Accept | 0.63506 | 2.4392 | 0.24349 | 0.31096 | knn | NumNeighbors: 1563 | | | | | | | | | | Distance: mahalanobis | | 36 | 3 | Best | 0.24349 | 2.1919 | 0.24349 | 0.31096 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.044076 | | | | | | | | | | KernelScale: 0.035497 | | 37 | 3 | Accept | 0.6216 | 2.1779 | 0.24349 | 0.31096 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.055096 | | | | | | | | | | KernelScale: 6.2342 |
| 38 | 6 | Accept | 0.42208 | 0.1616 | 0.24349 | 0.31096 | discr | Delta: 0.0090118 | | | | | | | | | | Gamma: 0.062207 |
| 39 | 4 | Accept | 0.47173 | 3.2018 | 0.24349 | 0.31096 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 3.7197 | | | | | | | | | | KernelScale: 2.9509 | | 40 | 4 | Accept | 0.74185 | 2.4165 | 0.24349 | 0.31096 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.019393 | | | | | | | | | | KernelScale: 332.27 | |==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 41 | 4 | Accept | 0.53126 | 2.5238 | 0.24349 | 0.31096 | knn | NumNeighbors: 372 | | | | | | | | | | Distance: mahalanobis |
| 42 | 4 | Accept | 0.25965 | 15.125 | 0.24349 | 0.27803 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 150 | | | | | | | | | | LearnRate: 0.014842 | | | | | | | | | | MinLeafSize: 21 |
| 43 | 6 | Accept | 0.74185 | 4.4109 | 0.24349 | 0.27803 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 24.681 | | | | | | | | | | Lambda: 0.092669 |
| 44 | 3 | Accept | 0.26413 | 22.354 | 0.24349 | 0.27803 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 304 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 100 | | 45 | 3 | Accept | 0.24499 | 14.917 | 0.24349 | 0.27803 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.019387 | | | | | | | | | | KernelScale: 0.0047515 | | 46 | 3 | Accept | 0.74185 | 4.3649 | 0.24349 | 0.27803 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 24.681 | | | | | | | | | | Lambda: 0.092669 | | 47 | 3 | Accept | 0.74185 | 7.1585 | 0.24349 | 0.27803 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 24.681 | | | | | | | | | | Lambda: 0.092669 |
| 48 | 6 | Accept | 0.28059 | 0.18491 | 0.24349 | 0.27255 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 49 | 3 | Accept | 0.60754 | 3.9106 | 0.24349 | 0.27255 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 176.2 | | | | | | | | | | Lambda: 2.3903e-06 | | 50 | 3 | Accept | 0.42507 | 0.11067 | 0.24349 | 0.27255 | discr | Delta: 0.25925 | | | | | | | | | | Gamma: 0.82918 | | 51 | 3 | Accept | 0.28806 | 4.3596 | 0.24349 | 0.27255 | ensemble | Method: RUSBoost | | | | | | | | | | NumLearningCycles: 42 | | | | | | | | | | LearnRate: 0.0031729 | | | | | | | | | | MinLeafSize: 33 | | 52 | 3 | Accept | 0.47024 | 3.0918 | 0.24349 | 0.27255 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.0028932 | | | | | | | | | | KernelScale: 0.47789 |
| 53 | 6 | Accept | 0.49477 | 3.6628 | 0.24349 | 0.27255 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 0.093586 | | | | | | | | | | Lambda: 0.0050756 |
| 54 | 4 | Accept | 0.27131 | 0.15291 | 0.24349 | 0.27548 | tree | MinLeafSize: 20 | | 55 | 4 | Accept | 0.28059 | 0.46186 | 0.24349 | 0.27548 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN | | 56 | 4 | Accept | 0.28059 | 0.45079 | 0.24349 | 0.27548 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 57 | 4 | Accept | 0.32456 | 0.17695 | 0.24349 | 0.27548 | tree | MinLeafSize: 3 |
| 58 | 4 | Accept | 0.33144 | 1.2562 | 0.24349 | 0.2843 | nb | DistributionNames: kernel | | | | | | | | | | Width: 0.0020049 |
| 59 | 3 | Accept | 0.43314 | 23.917 | 0.24349 | 0.28235 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 357 | | | | | | | | | | LearnRate: 0.035928 | | | | | | | | | | MinLeafSize: 799 | | 60 | 3 | Accept | 0.28059 | 0.13198 | 0.24349 | 0.28235 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 61 | 6 | Accept | 0.26234 | 0.55057 | 0.24349 | 0.28235 | knn | NumNeighbors: 157 | | | | | | | | | | Distance: euclidean |
| 62 | 4 | Accept | 0.31917 | 10.817 | 0.24349 | 0.28235 | ensemble | Method: RUSBoost | | | | | | | | | | NumLearningCycles: 132 | | | | | | | | | | LearnRate: 0.0014516 | | | | | | | | | | MinLeafSize: 104 | | 63 | 4 | Accept | 0.24529 | 5.709 | 0.24349 | 0.28235 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 4.6933 | | | | | | | | | | Lambda: 9.8945e-07 | | 64 | 4 | Accept | 0.43255 | 0.74626 | 0.24349 | 0.28235 | linear | Coding: onevsall | | | | | | | | | | Lambda: 2.7304e-07 | | | | | | | | | | Learner: svm |
| 65 | 4 | Accept | 0.57972 | 2.8035 | 0.24349 | 0.28235 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.12255 | | | | | | | | | | KernelScale: 81.172 |
| 66 | 4 | Accept | 0.26383 | 0.13419 | 0.24349 | 0.28235 | knn | NumNeighbors: 13 | | | | | | | | | | Distance: chebychev |
| 67 | 3 | Accept | 0.24469 | 17.277 | 0.24349 | 0.28235 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.062223 | | | | | | | | | | KernelScale: 0.0077043 | | 68 | 3 | Accept | 0.42596 | 0.095102 | 0.24349 | 0.28235 | discr | Delta: 9.4222e-06 | | | | | | | | | | Gamma: 0.15603 |
| 69 | 6 | Accept | 0.67783 | 0.67221 | 0.24349 | 0.28235 | linear | Coding: onevsall | | | | | | | | | | Lambda: 2.4732 | | | | | | | | | | Learner: logistic |
| 70 | 5 | Accept | 0.25695 | 0.16748 | 0.24349 | 0.28235 | knn | NumNeighbors: 14 | | | | | | | | | | Distance: cityblock | | 71 | 5 | Accept | 0.46276 | 0.7837 | 0.24349 | 0.28235 | linear | Coding: onevsall | | | | | | | | | | Lambda: 0.0033674 | | | | | | | | | | Learner: svm |
| 72 | 4 | Accept | 0.28448 | 6.0063 | 0.24349 | 0.27803 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 78 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 168 | | 73 | 4 | Accept | 0.6548 | 2.4452 | 0.24349 | 0.27803 | nb | DistributionNames: kernel | | | | | | | | | | Width: 2.6013 |
| 74 | 4 | Accept | 0.42926 | 0.1085 | 0.24349 | 0.27803 | discr | Delta: 0.041145 | | | | | | | | | | Gamma: 0.34864 |
| 75 | 2 | Accept | 0.24529 | 222.53 | 0.24349 | 0.27803 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.25488 | | | | | | | | | | KernelScale: 0.0037823 | | 76 | 2 | Accept | 0.25217 | 21.217 | 0.24349 | 0.27803 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 257 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 19 | | 77 | 2 | Accept | 0.32516 | 0.19708 | 0.24349 | 0.27803 | tree | MinLeafSize: 5 |
| 78 | 6 | Accept | 0.43703 | 0.87585 | 0.24349 | 0.27803 | linear | Coding: onevsall | | | | | | | | | | Lambda: 0.013265 | | | | | | | | | | Learner: logistic |
| 79 | 3 | Accept | 0.25695 | 2.1197 | 0.24349 | 0.27803 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 712.17 | | | | | | | | | | KernelScale: 79.244 | | 80 | 3 | Accept | 0.25456 | 2.276 | 0.24349 | 0.27803 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 22 | | | | | | | | | | LearnRate: 0.28501 | | | | | | | | | | MinLeafSize: 104 | |==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 81 | 3 | Accept | 0.31529 | 3.001 | 0.24349 | 0.27803 | ensemble | Method: RUSBoost | | | | | | | | | | NumLearningCycles: 22 | | | | | | | | | | LearnRate: 0.10996 | | | | | | | | | | MinLeafSize: 104 | | 82 | 3 | Accept | 0.42596 | 0.19157 | 0.24349 | 0.27803 | discr | Delta: 0.00034456 | | | | | | | | | | Gamma: 0.08223 |
| 83 | 5 | Accept | 0.25456 | 7.1816 | 0.24349 | 0.27803 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.78697 | | | | | | | | | | Lambda: 4.1197e-06 | | 84 | 5 | Accept | 0.43015 | 0.092979 | 0.24349 | 0.27803 | discr | Delta: 0.0069822 | | | | | | | | | | Gamma: 0.49526 |
| 85 | 3 | Accept | 0.32905 | 0.3807 | 0.24349 | 0.27803 | knn | NumNeighbors: 65 | | | | | | | | | | Distance: seuclidean | | 86 | 3 | Accept | 0.50194 | 0.58497 | 0.24349 | 0.27803 | linear | Coding: onevsall | | | | | | | | | | Lambda: 22.21 | | | | | | | | | | Learner: svm | | 87 | 3 | Accept | 0.30242 | 0.2907 | 0.24349 | 0.27803 | tree | MinLeafSize: 219 |
| 88 | 5 | Accept | 0.28328 | 11.457 | 0.24349 | 0.27803 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 0.24613 | | | | | | | | | | Lambda: 6.5582e-06 | | 89 | 5 | Accept | 0.67903 | 3.2891 | 0.24349 | 0.27803 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 66.432 | | | | | | | | | | Lambda: 0.00097982 |
| 90 | 3 | Accept | 0.28059 | 0.15967 | 0.24349 | 0.27803 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN | | 91 | 3 | Accept | 0.74185 | 0.1332 | 0.24349 | 0.27803 | discr | Delta: 89.479 | | | | | | | | | | Gamma: 0.11568 | | 92 | 3 | Accept | 0.29704 | 1.6362 | 0.24349 | 0.27803 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.90434 | | | | | | | | | | KernelScale: 5.1972 |
| 93 | 4 | Accept | 0.75232 | 6.2607 | 0.24349 | 0.27803 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.0025204 | | | | | | | | | | Lambda: 0.0017056 | | 94 | 4 | Accept | 0.61203 | 2.7767 | 0.24349 | 0.27803 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 53 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 926 | | 95 | 4 | Accept | 0.42926 | 0.1032 | 0.24349 | 0.27803 | discr | Delta: 0.00083172 | | | | | | | | | | Gamma: 0.41309 |
| 96 | 2 | Accept | 0.24619 | 3.3793 | 0.24349 | 0.2819 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 305.08 | | | | | | | | | | KernelScale: 1.4567 | | 97 | 2 | Accept | 0.71911 | 0.67791 | 0.24349 | 0.2819 | knn | NumNeighbors: 659 | | | | | | | | | | Distance: jaccard | | 98 | 2 | Accept | 0.37212 | 1.5638 | 0.24349 | 0.2819 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 15 | | | | | | | | | | LearnRate: 0.010706 | | | | | | | | | | MinLeafSize: 366 |
| 99 | 5 | Accept | 0.28059 | 0.1674 | 0.24349 | 0.2819 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN | | 100 | 5 | Accept | 0.30093 | 0.10739 | 0.24349 | 0.2819 | tree | MinLeafSize: 135 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 101 | 3 | Accept | 0.2767 | 5.3033 | 0.24349 | 0.2819 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 53 | | | | | | | | | | LearnRate: 0.012335 | | | | | | | | | | MinLeafSize: 5 | | 102 | 3 | Accept | 0.28597 | 2.062 | 0.24349 | 0.2819 | ensemble | Method: RUSBoost | | | | | | | | | | NumLearningCycles: 23 | | | | | | | | | | LearnRate: 0.018926 | | | | | | | | | | MinLeafSize: 1 | | 103 | 3 | Accept | 0.61771 | 0.24182 | 0.24349 | 0.2819 | tree | MinLeafSize: 1200 |
| 104 | 6 | Accept | 0.25576 | 3.0306 | 0.24349 | 0.27907 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 38 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 28 |
| 105 | 3 | Accept | 0.31977 | 1.4678 | 0.24349 | 0.27907 | linear | Coding: onevsone | | | | | | | | | | Lambda: 0.040102 | | | | | | | | | | Learner: logistic | | 106 | 3 | Accept | 0.28059 | 0.15767 | 0.24349 | 0.27907 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN | | 107 | 3 | Accept | 0.52976 | 3.7522 | 0.24349 | 0.27907 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 52 | | | | | | | | | | LearnRate: 0.0051271 | | | | | | | | | | MinLeafSize: 854 | | 108 | 3 | Accept | 0.3781 | 1.876 | 0.24349 | 0.27907 | linear | Coding: onevsall | | | | | | | | | | Lambda: 9.0139e-07 | | | | | | | | | | Learner: logistic |
| 109 | 6 | Best | 0.2429 | 2.1357 | 0.2429 | 0.27907 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.10541 | | | | | | | | | | KernelScale: 0.061524 |
| 110 | 3 | Accept | 0.30212 | 15.324 | 0.2429 | 0.27907 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 249 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 292 | | 111 | 3 | Accept | 0.25905 | 6.4685 | 0.2429 | 0.27907 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 61 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 3 | | 112 | 3 | Accept | 0.4819 | 3.2352 | 0.2429 | 0.27907 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 239.8 | | | | | | | | | | KernelScale: 51.105 | | 113 | 3 | Accept | 0.72241 | 3.0692 | 0.2429 | 0.27907 | nb | DistributionNames: kernel | | | | | | | | | | Width: 7.4433 |
| 114 | 6 | Accept | 0.45947 | 0.55863 | 0.2429 | 0.27907 | linear | Coding: onevsall | | | | | | | | | | Lambda: 0.028513 | | | | | | | | | | Learner: svm |
| 115 | 3 | Accept | 0.74185 | 2.3519 | 0.2429 | 0.27907 | nb | DistributionNames: kernel | | | | | | | | | | Width: 74.975 | | 116 | 3 | Accept | 0.29794 | 1.7602 | 0.2429 | 0.27907 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 14 | | | | | | | | | | LearnRate: 0.0011077 | | | | | | | | | | MinLeafSize: 2 | | 117 | 3 | Accept | 0.48549 | 14.081 | 0.2429 | 0.27907 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.36208 | | | | | | | | | | KernelScale: 0.061675 | | 118 | 3 | Accept | 0.38169 | 3.4566 | 0.2429 | 0.27907 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 6.0043 | | | | | | | | | | Lambda: 0.0033315 |
| 119 | 6 | Accept | 0.24559 | 5.4474 | 0.2429 | 0.27907 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0059499 | | | | | | | | | | KernelScale: 0.0045622 |
| 120 | 4 | Best | 0.2408 | 1.6297 | 0.2408 | 0.27907 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.011671 | | | | | | | | | | KernelScale: 0.050076 | |==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 121 | 4 | Accept | 0.25725 | 15.492 | 0.2408 | 0.27907 | ensemble | Method: AdaBoostM2 | | | | | | | | | | NumLearningCycles: 149 | | | | | | | | | | LearnRate: 0.10812 | | | | | | | | | | MinLeafSize: 1 | | 122 | 4 | Accept | 0.47831 | 0.088834 | 0.2408 | 0.27907 | tree | MinLeafSize: 833 |
| 123 | 4 | Best | 0.2405 | 1.4439 | 0.2405 | 0.24636 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.015035 | | | | | | | | | | KernelScale: 0.057715 |
| 124 | 4 | Accept | 0.2417 | 1.5135 | 0.2405 | 0.24498 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0095934 | | | | | | | | | | KernelScale: 0.058685 |
| 125 | 4 | Best | 0.2399 | 1.4853 | 0.2399 | 0.24443 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.035844 | | | | | | | | | | KernelScale: 0.08166 |
| 126 | 4 | Accept | 0.24529 | 63.489 | 0.2399 | 0.24408 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 405.36 | | | | | | | | | | KernelScale: 0.3059 |
| 127 | 4 | Accept | 0.2417 | 1.4706 | 0.2399 | 0.24465 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.016665 | | | | | | | | | | KernelScale: 0.083583 |
| 128 | 4 | Accept | 0.25546 | 1.4908 | 0.2399 | 0.24411 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.038736 | | | | | | | | | | KernelScale: 0.55267 |
| 129 | 4 | Accept | 0.30841 | 1.885 | 0.2399 | 0.24408 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0015949 | | | | | | | | | | KernelScale: 0.34759 |
| 130 | 4 | Accept | 0.36494 | 1.9172 | 0.2399 | 0.24384 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.017084 | | | | | | | | | | KernelScale: 1.9122 |
| 131 | 4 | Accept | 0.30242 | 1.6419 | 0.2399 | 0.24389 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.033156 | | | | | | | | | | KernelScale: 1.1823 |
| 132 | 5 | Accept | 0.40203 | 1.8764 | 0.2399 | 0.24422 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.022866 | | | | | | | | | | KernelScale: 2.5154 |
| 133 | 5 | Accept | 0.24349 | 2.287 | 0.2399 | 0.24422 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.14375 | | | | | | | | | | KernelScale: 0.063056 |
| 134 | 5 | Accept | 0.2402 | 1.598 | 0.2399 | 0.24365 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.012787 | | | | | | | | | | KernelScale: 0.061711 |
| 135 | 4 | Accept | 0.4843 | 135.72 | 0.2399 | 0.24365 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.0016902 | | | | | | | | | | KernelScale: 0.031528 | | 136 | 4 | Accept | 0.78193 | 10.536 | 0.2399 | 0.24365 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.0024164 | | | | | | | | | | Lambda: 3.0566e-07 |
| 137 | 4 | Accept | 0.4499 | 4.2514 | 0.2399 | 0.24207 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.020039 | | | | | | | | | | KernelScale: 0.05327 |
| 138 | 4 | Accept | 0.79061 | 10.427 | 0.2399 | 0.24207 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.0012217 | | | | | | | | | | Lambda: 1.8732e-06 |
| 139 | 4 | Accept | 0.24379 | 1.5859 | 0.2399 | 0.2419 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0026657 | | | | | | | | | | KernelScale: 0.058261 |
| 140 | 4 | Accept | 0.24379 | 1.7337 | 0.2399 | 0.24721 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.02367 | | | | | | | | | | KernelScale: 0.037805 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 141 | 4 | Accept | 0.74604 | 9.898 | 0.2399 | 0.24721 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.03064 | | | | | | | | | | Lambda: 4.6992e-06 |
| 142 | 4 | Accept | 0.24619 | 4.1003 | 0.2399 | 0.24822 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.40789 | | | | | | | | | | KernelScale: 0.047603 |
| 143 | 4 | Accept | 0.24499 | 9.2411 | 0.2399 | 0.24541 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.80115 | | | | | | | | | | KernelScale: 0.038152 |
| 144 | 4 | Accept | 0.2405 | 1.389 | 0.2399 | 0.24287 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.018782 | | | | | | | | | | KernelScale: 0.06909 |
| 145 | 4 | Accept | 0.26234 | 4.1253 | 0.2399 | 0.24287 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 3.0021 | | | | | | | | | | Lambda: 0.002498 |
| 146 | 4 | Accept | 0.24559 | 1.3591 | 0.2399 | 0.24345 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0015537 | | | | | | | | | | KernelScale: 0.061601 |
| 147 | 4 | Accept | 0.39426 | 2.1758 | 0.2399 | 0.24345 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 2.7611 | | | | | | | | | | Lambda: 0.058785 |
| 148 | 4 | Accept | 0.44032 | 9.2619 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.10145 | | | | | | | | | | Lambda: 1.247e-06 |
| 149 | 4 | Accept | 0.26114 | 5.2181 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 12.896 | | | | | | | | | | Lambda: 5.2477e-07 |
| 150 | 4 | Accept | 0.50374 | 10.004 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.073856 | | | | | | | | | | Lambda: 1.1532e-06 |
| 151 | 4 | Accept | 0.27939 | 5.1821 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 16.882 | | | | | | | | | | Lambda: 3.1205e-07 |
| 152 | 4 | Accept | 0.27819 | 4.5003 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 18.796 | | | | | | | | | | Lambda: 1.2989e-05 |
| 153 | 4 | Accept | 0.27819 | 4.7288 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 20.531 | | | | | | | | | | Lambda: 7.0733e-07 |
| 154 | 4 | Accept | 0.64792 | 3.5128 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 13.339 | | | | | | | | | | Lambda: 0.015595 |
| 155 | 4 | Accept | 0.36135 | 4.5167 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 23.171 | | | | | | | | | | Lambda: 8.9366e-07 |
| 156 | 4 | Accept | 0.31947 | 4.9979 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 23.387 | | | | | | | | | | Lambda: 3.5105e-07 |
| 157 | 4 | Accept | 0.25935 | 4.7775 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 9.5518 | | | | | | | | | | Lambda: 4.9153e-06 |
| 158 | 4 | Accept | 0.30093 | 3.849 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 7.3599 | | | | | | | | | | Lambda: 0.0025979 |
| 159 | 4 | Accept | 0.35028 | 4.1896 | 0.2399 | 0.24345 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 23.149 | | | | | | | | | | Lambda: 8.8313e-06 |
| 160 | 4 | Accept | 0.24559 | 1.3885 | 0.2399 | 0.24519 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0027832 | | | | | | | | | | KernelScale: 0.069321 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 161 | 4 | Accept | 0.26324 | 4.97 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 11.576 | | | | | | | | | | Lambda: 5.1587e-06 |
| 162 | 3 | Accept | 0.24379 | 430.57 | 0.2399 | 0.24519 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 314.58 | | | | | | | | | | KernelScale: 0.055576 | | 163 | 3 | Accept | 0.26742 | 4.2066 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 9.9599 | | | | | | | | | | Lambda: 0.0002376 |
| 164 | 6 | Accept | 0.25546 | 7.3897 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.66256 | | | | | | | | | | Lambda: 4.9136e-06 |
| 165 | 3 | Accept | 0.29165 | 4.0149 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 8.7912 | | | | | | | | | | Lambda: 0.00065247 | | 166 | 3 | Accept | 0.28059 | 0.16557 | 0.2399 | 0.24519 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN | | 167 | 3 | Accept | 0.242 | 1.5393 | 0.2399 | 0.24519 | linear | Coding: onevsone | | | | | | | | | | Lambda: 4.114e-07 | | | | | | | | | | Learner: svm | | 168 | 3 | Accept | 0.66437 | 1.3826 | 0.2399 | 0.24519 | linear | Coding: onevsone | | | | | | | | | | Lambda: 1.5345 | | | | | | | | | | Learner: logistic |
| 169 | 6 | Accept | 0.30302 | 3.6462 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 10.456 | | | | | | | | | | Lambda: 0.0012729 |
| 170 | 3 | Accept | 0.36584 | 9.8828 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.12329 | | | | | | | | | | Lambda: 5.7761e-06 | | 171 | 3 | Accept | 0.2767 | 2.2185 | 0.2399 | 0.24519 | nb | DistributionNames: kernel | | | | | | | | | | Width: 0.013013 | | 172 | 3 | Accept | 0.29016 | 10.253 | 0.2399 | 0.24519 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 161 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 233 | | 173 | 3 | Accept | 0.30212 | 0.17493 | 0.2399 | 0.24519 | tree | MinLeafSize: 125 |
| 174 | 6 | Accept | 0.36853 | 3.9359 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 14.54 | | | | | | | | | | Lambda: 0.0018156 |
| 175 | 3 | Accept | 0.2399 | 1.5716 | 0.2399 | 0.24519 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.018425 | | | | | | | | | | KernelScale: 0.05816 | | 176 | 3 | Accept | 0.25426 | 2.1785 | 0.2399 | 0.24519 | ensemble | Method: Bag | | | | | | | | | | NumLearningCycles: 21 | | | | | | | | | | LearnRate: NaN | | | | | | | | | | MinLeafSize: 10 | | 177 | 3 | Accept | 0.44421 | 0.69127 | 0.2399 | 0.24519 | linear | Coding: onevsall | | | | | | | | | | Lambda: 9.8986e-08 | | | | | | | | | | Learner: svm | | 178 | 3 | Accept | 0.24349 | 4.7623 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 7.5839 | | | | | | | | | | Lambda: 6.1706e-06 |
| 179 | 6 | Accept | 0.32546 | 3.8654 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 11.818 | | | | | | | | | | Lambda: 0.0021157 |
| 180 | 3 | Accept | 0.25396 | 4.8254 | 0.2399 | 0.24519 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 3.2686 | | | | | | | | | | Lambda: 1.4612e-06 | |==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 181 | 3 | Accept | 0.51391 | 3.1699 | 0.2399 | 0.24519 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.11591 | | | | | | | | | | KernelScale: 495.17 | | 182 | 3 | Accept | 0.2417 | 1.6756 | 0.2399 | 0.24519 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 7.202 | | | | | | | | | | KernelScale: 1.5776 | | 183 | 3 | Accept | 0.28059 | 0.59112 | 0.2399 | 0.24519 | nb | DistributionNames: normal | | | | | | | | | | Width: NaN |
| 184 | 6 | Accept | 0.31259 | 3.7378 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 12.684 | | | | | | | | | | Lambda: 0.0015075 |
| 185 | 4 | Accept | 0.25277 | 12.458 | 0.2399 | 0.24519 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 0.66323 | | | | | | | | | | Lambda: 3.1391e-06 | | 186 | 4 | Accept | 0.74185 | 4.433 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 513.67 | | | | | | | | | | Lambda: 0.013813 | | 187 | 4 | Accept | 0.29165 | 9.8216 | 0.2399 | 0.24519 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 0.1806 | | | | | | | | | | Lambda: 5.7403e-05 |
| 188 | 4 | Accept | 0.24589 | 5.2677 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 4.5409 | | | | | | | | | | Lambda: 1.6179e-06 |
| 189 | 4 | Accept | 0.25875 | 4.9459 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 13.189 | | | | | | | | | | Lambda: 1.0438e-06 |
| 190 | 4 | Accept | 0.29794 | 9.4099 | 0.2399 | 0.24519 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.24389 | | | | | | | | | | Lambda: 1.5305e-06 |
| 191 | 4 | Accept | 0.2399 | 1.4613 | 0.2399 | 0.24482 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.017676 | | | | | | | | | | KernelScale: 0.05684 |
| 192 | 4 | Accept | 0.6198 | 2.1987 | 0.2399 | 0.24188 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.037629 | | | | | | | | | | KernelScale: 4.6813 |
| 193 | 4 | Accept | 0.24589 | 3.6814 | 0.2399 | 0.24395 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.48718 | | | | | | | | | | KernelScale: 0.071987 |
| 194 | 4 | Accept | 0.30362 | 1.6935 | 0.2399 | 0.24179 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.036257 | | | | | | | | | | KernelScale: 1.496 |
| 195 | 4 | Accept | 0.24828 | 5.6169 | 0.2399 | 0.24179 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 2.0998 | | | | | | | | | | Lambda: 1.7852e-06 |
| 196 | 4 | Accept | 0.2405 | 1.4008 | 0.2399 | 0.2416 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.025005 | | | | | | | | | | KernelScale: 0.079623 |
| 197 | 4 | Accept | 0.25695 | 10.376 | 0.2399 | 0.2416 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 0.54744 | | | | | | | | | | Lambda: 2.181e-06 |
| 198 | 4 | Accept | 0.2429 | 1.8889 | 0.2399 | 0.25253 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.090859 | | | | | | | | | | KernelScale: 0.066231 |
| 199 | 4 | Accept | 0.24858 | 4.1934 | 0.2399 | 0.25163 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 2.5004 | | | | | | | | | | Lambda: 0.0016318 |
| 200 | 4 | Accept | 0.2408 | 1.4334 | 0.2399 | 0.24216 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.029253 | | | | | | | | | | KernelScale: 0.063477 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 201 | 4 | Accept | 0.25067 | 1.4766 | 0.2399 | 0.24186 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.01517 | | | | | | | | | | KernelScale: 0.27169 |
| 202 | 4 | Accept | 0.29794 | 1.8479 | 0.2399 | 0.24143 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.20149 | | | | | | | | | | KernelScale: 2.5463 |
| 203 | 4 | Accept | 0.24589 | 6.5027 | 0.2399 | 0.24148 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.30831 | | | | | | | | | | KernelScale: 0.028787 |
| 204 | 4 | Accept | 0.24678 | 4.2346 | 0.2399 | 0.24148 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.5999 | | | | | | | | | | Lambda: 0.0022599 |
| 205 | 5 | Accept | 0.28148 | 4.267 | 0.2399 | 0.24148 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 3.1926 | | | | | | | | | | Lambda: 0.0039213 |
| 206 | 5 | Accept | 0.25366 | 4.6995 | 0.2399 | 0.24148 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 2.2861 | | | | | | | | | | Lambda: 0.0023336 |
| 207 | 6 | Accept | 0.28986 | 4.6245 | 0.2399 | 0.24148 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 2.8603 | | | | | | | | | | Lambda: 0.0072539 |
| 208 | 6 | Accept | 0.25067 | 4.9866 | 0.2399 | 0.24148 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.0901 | | | | | | | | | | Lambda: 0.0099896 |
| 209 | 6 | Accept | 0.26802 | 4.837 | 0.2399 | 0.24148 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.6265 | | | | | | | | | | Lambda: 0.01081 |
| 210 | 6 | Accept | 0.24499 | 56.624 | 0.2399 | 0.24154 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 8.7909 | | | | | | | | | | KernelScale: 0.05728 |
| 211 | 6 | Accept | 0.25097 | 5.1646 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.94502 | | | | | | | | | | Lambda: 0.012321 |
| 212 | 6 | Accept | 0.27879 | 4.737 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.5962 | | | | | | | | | | Lambda: 0.014927 |
| 213 | 6 | Accept | 0.28537 | 4.6966 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.858 | | | | | | | | | | Lambda: 0.012473 |
| 214 | 5 | Accept | 0.24529 | 172.16 | 0.2399 | 0.24154 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 32.749 | | | | | | | | | | KernelScale: 0.061248 | | 215 | 5 | Accept | 0.25127 | 4.7942 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.91593 | | | | | | | | | | Lambda: 0.013134 |
| 216 | 5 | Accept | 0.277 | 4.1458 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.4949 | | | | | | | | | | Lambda: 0.015008 |
| 217 | 5 | Accept | 0.30123 | 3.9237 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.2069 | | | | | | | | | | Lambda: 0.071401 |
| 218 | 5 | Accept | 0.30691 | 2.555 | 0.2399 | 0.24154 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 1.0328 | | | | | | | | | | Lambda: 0.013653 |
| 219 | 5 | Accept | 0.29106 | 4.1175 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.9718 | | | | | | | | | | Lambda: 0.014791 |
| 220 | 5 | Accept | 0.27341 | 4.054 | 0.2399 | 0.24154 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.0948 | | | | | | | | | | Lambda: 0.029433 |
|==============================================================================================================================| | Iter | Active | Eval | Objective | Objective | BestSoFar | BestSoFar | Learner | Hyperparameter: Value | | | workers | result | | runtime | (observed) | (estim.) | | | |==============================================================================================================================| | 221 | 5 | Accept | 0.24499 | 1.7385 | 0.2399 | 0.24325 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.019711 | | | | | | | | | | KernelScale: 0.20418 |
| 222 | 5 | Accept | 0.32576 | 3.5611 | 0.2399 | 0.24325 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.96406 | | | | | | | | | | Lambda: 0.19447 |
| 223 | 5 | Accept | 0.33084 | 4.3505 | 0.2399 | 0.24325 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 23.853 | | | | | | | | | | Lambda: 4.1268e-07 |
| 224 | 5 | Accept | 0.25187 | 1.6516 | 0.2399 | 0.24139 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0019286 | | | | | | | | | | KernelScale: 0.10433 |
| 225 | 5 | Accept | 0.25037 | 4.822 | 0.2399 | 0.24139 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.71239 | | | | | | | | | | Lambda: 0.015711 |
| 226 | 5 | Accept | 0.3452 | 10.241 | 0.2399 | 0.24139 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.14973 | | | | | | | | | | Lambda: 1.4037e-06 |
| 227 | 5 | Accept | 0.26204 | 9.4337 | 0.2399 | 0.24139 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.41479 | | | | | | | | | | Lambda: 3.5263e-06 |
| 228 | 5 | Accept | 0.25097 | 1.604 | 0.2399 | 0.24158 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.018254 | | | | | | | | | | KernelScale: 0.2875 |
| 229 | 5 | Accept | 0.36075 | 4.6692 | 0.2399 | 0.24158 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 24.105 | | | | | | | | | | Lambda: 3.803e-07 |
| 230 | 4 | Accept | 0.24559 | 465.69 | 0.2399 | 0.24158 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 318.11 | | | | | | | | | | KernelScale: 0.061933 | | 231 | 4 | Accept | 0.29016 | 4.7925 | 0.2399 | 0.24158 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 1.3656 | | | | | | | | | | Lambda: 0.035821 |
| 232 | 4 | Accept | 0.24649 | 1.5588 | 0.2399 | 0.24083 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.0013393 | | | | | | | | | | KernelScale: 0.068648 |
| 233 | 4 | Accept | 0.25426 | 1.4221 | 0.2399 | 0.24157 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.080107 | | | | | | | | | | KernelScale: 0.72702 |
| 234 | 4 | Accept | 0.31558 | 1.8074 | 0.2399 | 0.24166 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.067209 | | | | | | | | | | KernelScale: 2.6645 |
| 235 | 4 | Accept | 0.3443 | 3.9888 | 0.2399 | 0.24166 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 24.211 | | | | | | | | | | Lambda: 5.9888e-07 |
| 236 | 4 | Accept | 0.24619 | 3.3676 | 0.2399 | 0.24171 | svm | Coding: onevsone | | | | | | | | | | BoxConstraint: 0.64044 | | | | | | | | | | KernelScale: 0.072822 |
| 237 | 4 | Accept | 0.24948 | 4.0124 | 0.2399 | 0.24171 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 0.72883 | | | | | | | | | | Lambda: 0.020466 |
| 238 | 4 | Accept | 0.44601 | 3.6883 | 0.2399 | 0.2408 | svm | Coding: onevsall | | | | | | | | | | BoxConstraint: 0.016081 | | | | | | | | | | KernelScale: 0.065807 |
| 239 | 4 | Accept | 0.25636 | 4.1374 | 0.2399 | 0.2408 | kernel | Coding: onevsall | | | | | | | | | | KernelScale: 4.6533 | | | | | | | | | | Lambda: 9.4081e-07 |
| 240 | 4 | Accept | 0.26114 | 5.0408 | 0.2399 | 0.2408 | kernel | Coding: onevsone | | | | | | | | | | KernelScale: 12.554 | | | | | | | | | | Lambda: 1.5929e-06 |
__________________________________________________________ Optimization completed. MaxObjectiveEvaluations of 240 reached. Total function evaluations: 240 Total elapsed time: 1954.7195 seconds. Total objective function evaluation time: 2414.1608 Best observed feasible point is a multiclass svm model with: Coding (ECOC): onevsone BoxConstraint: 0.035844 KernelScale: 0.08166 Observed objective function value = 0.2399 Estimated objective function value = 0.24266 Function evaluation time = 1.4853 Best estimated feasible point (according to models) is a multiclass svm model with: Coding (ECOC): onevsone BoxConstraint: 0.018425 KernelScale: 0.05816 Estimated objective function value = 0.2408 Estimated function evaluation time = 1.6217
Итоговая модель возвращена fitcauto
соответствует лучшей предполагаемой допустимой точке. Прежде, чем возвратить модель, функция переобучает его с помощью целых обучающих данных (XTrain
и YTrain
), перечисленный Learner
(или модель) тип и отображенные гиперзначения параметров.
Оцените производительность набора тестов
Модель Mdl
соответствует лучшей точке в Байесовой оптимизации согласно 'min-visited-mean'
критерий. Чтобы измерить, как модель выполнит на новых данных, посмотрите на наблюдаемую точность перекрестной проверки модели (cvAccuracy
) и его общая предполагаемая производительность на основе Байесовой оптимизации (estimatedAccuracy
).
[x,~,iteration] = bestPoint(Results,'Criterion','min-visited-mean'); cvError = Results.ObjectiveTrace(iteration); cvAccuracy = 1 - cvError
cvAccuracy = 0.7601
estimatedError = predictObjective(Results,x); estimatedAccuracy = 1 - estimatedError
estimatedAccuracy = 0.7592
Оцените производительность модели на наборе тестов. Создайте матрицу беспорядка из результатов и задайте порядок классов в матрице беспорядка.
testAccuracy = 1 - loss(Mdl,XTest,YTest)
testAccuracy = 0.7438
cm = confusionchart(YTest,predict(Mdl,XTest)); sortClasses(cm,{'AAA','AA','A','BBB','BB','B','CCC'})
Tbl
— Выборочные данныеВыборочные данные в виде таблицы. Каждая строка Tbl
соответствует одному наблюдению, и каждый столбец соответствует одному предиктору. Опционально, Tbl
может содержать один дополнительный столбец для переменной отклика. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не приняты.
Если Tbl
содержит переменную отклика, и вы хотите использовать все остающиеся переменные в Tbl
как предикторы, затем задайте переменную отклика с помощью ResponseVarName
.
Если Tbl
содержит переменную отклика, и вы хотите использовать только подмножество остающихся переменных в Tbl
как предикторы, задайте формулу с помощью formula
.
Если Tbl
не содержит переменную отклика, задает переменную отклика с помощью Y
. Длина переменной отклика и количество строк в Tbl
должно быть равным.
fitcauto
не поддерживает таблицы для линейного или модели классификации ядер. Таким образом, если вы хотите Learners
включать 'linear'
или 'kernel'
модели, вы не можете предоставить Tbl
, ResponseVarName
, или formula
. Предоставьте матрицу данных о предикторе (X
) и массив ответов (Y
) вместо этого.
Типы данных: table
ResponseVarName
— Имя переменной откликаTbl
Имя переменной отклика в виде имени переменной в Tbl
.
Необходимо задать ResponseVarName
как вектор символов или строковый скаляр. Например, если переменная отклика Y
хранится как Tbl.Y
, затем задайте его как 'Y'
. В противном случае программное обеспечение обрабатывает все столбцы Tbl
, включая Y
, как предикторы, когда обучение модель.
Переменная отклика должна быть категориальным, символом, или массивом строк, логическим или числовым вектором или массивом ячеек из символьных векторов. Если Y
символьный массив, затем каждый элемент переменной отклика должен соответствовать одной строке массива.
Хорошая практика должна задать порядок классов при помощи ClassNames
аргумент пары "имя-значение".
Типы данных: char |
string
formula
— Объяснительная модель переменной отклика и подмножество переменных предикторовОбъяснительная модель переменной отклика и подмножество переменных предикторов в виде вектора символов или строкового скаляра в форме 'Y~X1+X2+X3'
. В этой форме, Y
представляет переменную отклика и X1
x2
, и X3
представляйте переменные предикторы.
Задавать подмножество переменных в Tbl
как предикторы для обучения модель, используйте формулу. Если вы задаете формулу, то программное обеспечение не использует переменных в Tbl
это не появляется в formula
.
Имена переменных в формуле должны быть оба именами переменных в Tbl
(Tbl.Properties.VariableNames
) и допустимые идентификаторы MATLAB®.
Можно проверить имена переменных в Tbl
при помощи isvarname
функция. Следующий код возвращает логический 1
TRUE
) для каждой переменной, которая имеет допустимое имя переменной.
cellfun(@isvarname,Tbl.Properties.VariableNames)
Tbl
не допустимы, затем преобразуют их при помощи matlab.lang.makeValidName
функция.Tbl.Properties.VariableNames = matlab.lang.makeValidName(Tbl.Properties.VariableNames);
Типы данных: char |
string
Y
— Метки классаКласс помечает в виде числового, категориального, или логического вектора, символьного массива или массива строк или массива ячеек из символьных векторов.
Если Y
символьный массив, затем каждый элемент меток класса должен соответствовать одной строке массива.
Хорошая практика должна задать порядок класса при помощи ClassNames
аргумент пары "имя-значение".
Типы данных: single
| double
| categorical
| logical
| char
| string
| cell
X
— Данные о предиктореДанные о предикторе в виде числовой матрицы.
Каждая строка X
соответствует одному наблюдению, и каждый столбец соответствует одному предиктору.
Длина Y
и количество строк в X
должно быть равным.
Задавать имена предикторов в порядке их внешнего вида в X
, используйте PredictorNames
аргумент пары "имя-значение".
Типы данных: single
| double
Программное обеспечение обрабатывает NaN
, пустой символьный вектор (''
), пустая строка (""
), <missing>
, и <undefined>
элементы как недостающие данные. Программное обеспечение удаляет строки данных, соответствующих отсутствующим значениям в переменной отклика. Однако обработка отсутствующих значений в данных о предикторе X
или Tbl
варьируется среди моделей (или ученики).
Задайте дополнительные разделенные запятой пары Name,Value
аргументы. Name
имя аргумента и Value
соответствующее значение. Name
должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN
.
'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',200,'Verbose',2)
задает, чтобы запустить 200 итераций процесса оптимизации (то есть, попробуйте 200 комбинаций гиперпараметра модели), и отобразить информацию в Командном окне о следующей комбинации гиперпараметра модели, которая будет оценена.'Learners'
— Типы моделей классификации'auto'
(значение по умолчанию) | 'all'
| 'all-linear'
| 'all-nonlinear'
| одно или несколько имен ученикаТипы моделей классификации, чтобы попробовать во время оптимизации в виде разделенной запятой пары, состоящей из 'Learners'
и значение в первой приведенной ниже таблице или одно или несколько имен ученика во второй таблице. Задайте несколько имен ученика как массив строк или массив ячеек.
Значение | Описание |
---|---|
'auto' | fitcauto автоматически выбирает подмножество учеников, подходящих для данного предиктора и данных об ответе. У учеников могут быть гиперзначения параметров модели, которые отличаются от значения по умолчанию. Для получения дополнительной информации смотрите Автоматический Выбор Учеников. |
'all' | fitcauto выбирает всех возможных учеников. |
'all-linear' | fitcauto выбирает всех линейных учеников: 'discr' (с линейным дискриминантным типом), 'linear' , и 'svm' (с линейным ядром). |
'all-nonlinear' | fitcauto выбирает всех нелинейных учеников: 'discr' (с квадратичным дискриминантным типом), 'ensemble' , 'kernel' , 'knn' , 'nb' , 'svm' (с Гауссовым или полиномиальным ядром), и 'tree' . |
Имя ученика | Описание |
---|---|
'discr' | Классификатор дискриминантного анализа |
'ensemble' | Модель классификации ансамблей |
'kernel' | Модель классификации ядер |
'knn' | модель k - ближайших соседей |
'linear' | Линейная модель классификации |
'nb' | Наивный классификатор Байеса |
'svm' | Классификатор машины опорных векторов |
'tree' | Дерево классификации выборов из двух альтернатив |
Пример: 'Learners','all'
Пример: 'Learners','ensemble'
Пример: 'Learners',{'svm','tree'}
Типы данных: char |
string
| cell
'OptimizeHyperparameters'
— Гиперпараметры, чтобы оптимизировать'auto'
(значение по умолчанию) | 'all'
Гиперпараметры, чтобы оптимизировать в виде разделенной запятой пары, состоящей из 'OptimizeHyperparameters'
и 'auto'
или 'all'
. optimizable гиперпараметры зависят от модели (или ученик), как описано в этой таблице.
Имя ученика | Гиперпараметры для 'auto' | Дополнительные гиперпараметры для 'all' | Примечания |
---|---|---|---|
'discr' | Delta , Gamma | DiscrimType |
Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите |
'ensemble' | Method , NumLearningCycles , LearnRate , MinLeafSize | MaxNumSplits , NumVariablesToSample , SplitCriterion |
Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите |
'kernel' | KernelScale \lambda , Coding (только для трех или больше классов) | Learner , NumExpansionDimensions | Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters и OptimizeHyperparameters (только для трех или больше классов). |
'knn' | Distance , NumNeighbors | DistanceWeight , Exponent , Standardize | Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters . |
'linear' | Lambda , Learner , Coding (только для трех или больше классов) | Regularization | Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters и OptimizeHyperparameters (только для трех или больше классов). |
'nb' | DistributionNames , Width | Kernel | Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters . |
'svm' | BoxConstraint , KernelScale , Coding (только для трех или больше классов) | KernelFunction , PolynomialOrder , Standardize |
Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите |
'tree' | MinLeafSize | MaxNumSplits , NumVariablesToSample , SplitCriterion | Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters . |
Когда Learners
установлен в значение кроме 'auto'
, значения по умолчанию для гиперпараметров модели, не будучи оптимизированным соответствие подходящие значения функции по умолчанию, если в противном случае не обозначено в примечаниях к таблице. Когда Learners
установлен в 'auto'
, обе оптимизированных области значений поиска гиперпараметра и неоптимизированные гиперзначения параметров могут варьироваться, в зависимости от характеристик обучающих данных.
Пример: 'OptimizeHyperparameters','all'
'HyperparameterOptimizationOptions'
— Опции для оптимизацииОпции для оптимизации в виде разделенной запятой пары, состоящей из 'HyperparameterOptimizationOptions'
и структура. Все поля в структуре являются дополнительными.
Имя поля | Значения | Значение по умолчанию |
---|---|---|
MaxObjectiveEvaluations | Максимальное количество оценок целевой функции | 30*L , где L количество учеников |
MaxTime | Ограничение по времени в виде положительного вещественного числа. Ограничение по времени находится в секундах, как измерено | Inf |
ShowPlots | Логическое значение, указывающее, показать ли графики. Если true , это поле строит лучшие наблюдаемые и предполагаемые значения целевой функции (до сих пор) против номера итерации. | true |
SaveIntermediateResults | Логическое значение, указывающее, сохранить ли результаты. Если true , это поле перезаписывает переменную рабочей области под названием 'BayesoptResults' в каждой итерации. Переменной является BayesianOptimization объект. | false |
Verbose | Отображение в командной строке:
| 1
|
UseParallel | Логическое значение, указывающее, запустить ли Байесовую оптимизацию параллельно, которая требует Parallel Computing Toolbox™. Из-за невоспроизводимости синхронизации параллели, параллельная Байесова оптимизация не обязательно приводит к восстанавливаемым результатам. | false |
Repartition | Логическое значение, указывающее, повторно разделить ли перекрестную проверку в каждой итерации. Если
| false |
Задайте только одну из следующих трех опций. | ||
CVPartition | cvpartition объект, созданный cvpartition | 'Kfold',5 если вы не задаете поля перекрестной проверки |
Holdout | Скаляр в области значений (0,1) представление части затяжки | |
Kfold | Целое число, больше, чем 1 |
Пример: 'HyperparameterOptimizationOptions',struct('UseParallel',true)
Типы данных: struct
'CategoricalPredictors'
— Категориальный список предикторов'all'
Категориальные предикторы перечисляют в виде разделенной запятой пары, состоящей из 'CategoricalPredictors'
и одно из значений в этой таблице.
Значение | Описание |
---|---|
Вектор положительных целых чисел | Каждая запись в векторе является значением индекса, соответствующим столбцу данных о предикторе (X или Tbl ) это содержит категориальную переменную. |
Логический вектор | true запись означает что соответствующий столбец данных о предикторе (X или Tbl ) категориальная переменная. |
Символьная матрица | Каждая строка матрицы является именем переменного предиктора. Имена должны совпадать с записями в PredictorNames . Заполните имена дополнительными пробелами, таким образом, каждая строка символьной матрицы имеет ту же длину. |
Массив строк или массив ячеек из символьных векторов | Каждым элементом в массиве является имя переменного предиктора. Имена должны совпадать с записями в PredictorNames . |
'all' | Все предикторы являются категориальными. |
По умолчанию, если данные о предикторе находятся в таблице (Tbl
), fitcauto
принимает, что переменная является категориальной, если это - логический вектор, категориальный вектор, символьный массив, массив строк или массив ячеек из символьных векторов. Однако ученики, которые используют деревья решений, принимают, что математически упорядоченные категориальные векторы являются непрерывными переменными. Если данные о предикторе являются матрицей (X
), fitcauto
принимает, что все предикторы непрерывны. Чтобы идентифицировать любые другие предикторы как категориальные предикторы, задайте их при помощи 'CategoricalPredictors'
аргумент пары "имя-значение".
Для получения дополнительной информации о том, как подбор кривой функциям обрабатывает категориальные предикторы, видит Автоматическое Создание Фиктивных Переменных.
Пример: 'CategoricalPredictors','all'
Типы данных: single
| double
| logical
| char
| string
| cell
'ClassNames'
— Имена классов, чтобы использовать в обученииИмена классов, чтобы использовать в обучении в виде разделенной запятой пары, состоящей из 'ClassNames'
и категориальное, символ, или массив строк, логический или числовой вектор или массив ячеек из символьных векторов. ClassNames
должен иметь совпадающий тип данных как Y
.
Если ClassNames
символьный массив, затем каждый элемент должен соответствовать одной строке массива.
Используйте 'ClassNames'
к:
Закажите классы во время обучения.
Задайте порядок любой размерности аргумента ввода или вывода, которая соответствует порядку класса. Например, используйте 'ClassNames'
задавать порядок размерностей Cost
или порядок следования столбцов классификационных оценок, возвращенных predict
.
Выберите подмножество классов для обучения. Например, предположите что набор всех отличных имен классов в Y
{'a','b','c'}
. Обучать модель с помощью наблюдений от классов 'a'
и 'c'
только, задайте 'ClassNames',{'a','c'}
.
Значение по умолчанию для ClassNames
набор всех отличных имен классов в Y
.
Пример: 'ClassNames',{'b','g'}
Типы данных: categorical
| char
| string
| logical
| single
| double
| cell
'Cost'
— Misclassification стоитсяСтоимость Misclassification в виде разделенной запятой пары, состоящей из 'Cost'
и квадратная матрица или массив структур.
Если вы задаете квадратную матрицу Cost
и истинным классом наблюдения является i
, затем Cost(i,j)
стоимость классификации точки в класс j
. Таким образом, строки соответствуют истинным классам, и столбцы соответствуют предсказанным классам. Чтобы задать класс заказывают для соответствующих строк и столбцов Cost
, также задайте ClassNames
аргумент пары "имя-значение".
Если вы задаете структуру S
, затем это должно иметь два поля:
S.ClassNames
, который содержит имена классов как переменную совпадающего типа данных как Y
S.ClassificationCosts
, который содержит матрицу стоимости со строками и столбцами, упорядоченными как в S.ClassNames
Значение по умолчанию для Cost
ones(K) – eye(K)
, где K
количество отличных классов.
Пример: 'Cost',[0 1; 2 0]
Типы данных: single
| double
| struct
'PredictorNames'
— Имена переменного предиктораПеременный предиктор называет в виде разделенной запятой пары, состоящей из 'PredictorNames'
и массив строк уникальных имен или массив ячеек уникальных векторов символов. Функциональность 'PredictorNames'
зависит от способа, которым вы снабжаете обучающими данными.
Если вы предоставляете X
и Y
, затем можно использовать 'PredictorNames'
дать переменные предикторы в X
имена.
Порядок имен в PredictorNames
должен соответствовать порядку следования столбцов X
. Таким образом, PredictorNames{1}
имя X(:,1)
, PredictorNames{2}
имя X(:,2)
, и так далее. Кроме того, size(X,2)
и numel(PredictorNames)
должно быть равным.
По умолчанию, PredictorNames
{'x1','x2',...}
.
Если вы предоставляете Tbl
, затем можно использовать 'PredictorNames'
выбрать который переменные предикторы использовать в обучении. Таким образом, fitcauto
использование только переменные предикторы в PredictorNames
и переменная отклика в обучении.
PredictorNames
должно быть подмножество Tbl.Properties.VariableNames
и не может включать имя переменной отклика.
По умолчанию, PredictorNames
содержит имена всех переменных предикторов.
Хорошая практика должна задать предикторы для обучения с помощью любого 'PredictorNames'
или formula
только.
Пример: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}
Типы данных: string
| cell
'Prior'
— Априорные вероятности'empirical'
(значение по умолчанию) | 'uniform'
| числовой вектор | массив структурАприорные вероятности для каждого класса в виде разделенной запятой пары, состоящей из 'Prior'
и значение в этой таблице.
Значение | Описание |
---|---|
'empirical' | Априорные вероятности класса являются частотами родственника класса в Y . |
'uniform' | Все априорные вероятности класса равны 1/K, где K является количеством классов. |
числовой вектор | Каждым элементом является априорная вероятность класса. Закажите элементы согласно Mdl .ClassNames или задайте порядок с помощью ClassNames аргумент пары "имя-значение". Программное обеспечение нормирует элементы, чтобы суммировать к 1 . |
структура | Структура
|
Пример: 'Prior',struct('ClassNames',{{'b','g'}},'ClassProbs',1:2)
Типы данных: single
| double
| char
| string
| struct
'ResponseName'
— Имя переменной отклика'Y'
(значение по умолчанию) | вектор символов | строковый скалярИмя переменной отклика в виде разделенной запятой пары, состоящей из 'ResponseName'
и вектор символов или строковый скаляр.
Если вы предоставляете Y
, затем можно использовать 'ResponseName'
задавать имя для переменной отклика.
Если вы предоставляете ResponseVarName
или formula
, затем вы не можете использовать 'ResponseName'
.
Пример: 'ResponseName','response'
Типы данных: char |
string
'ScoreTransform'
— Выиграйте преобразование'none'
(значение по умолчанию) | 'doublelogit'
| 'invlogit'
| 'ismax'
| 'logit'
| указатель на функцию |...Выиграйте преобразование в виде разделенной запятой пары, состоящей из 'ScoreTransform'
и вектор символов, строковый скаляр или указатель на функцию.
Эта таблица суммирует доступные векторы символов и строковые скаляры.
Значение | Описание |
---|---|
'doublelogit' | 1/(1 + e –2x) |
'invlogit' | журнал (x / (1 – x)) |
'ismax' | Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к 0 |
'logit' | 1/(1 + e –x) |
'none' или 'identity' | x (никакое преобразование) |
'sign' | – 1 для x <0 0 для x = 0 1 для x> 0 |
'symmetric' | 2x – 1 |
'symmetricismax' | Устанавливает счет к классу с самым большим счетом к 1 и устанавливает музыку ко всем другим классам к –1 |
'symmetriclogit' | 2/(1 + e –x) – 1 |
Для функции MATLAB или функции вы задаете, используете ее указатель на функцию в счете, преобразовывают. Указатель на функцию должен принять матрицу (исходные баллы) и возвратить матрицу, одного размера (преобразованные баллы).
Пример: 'ScoreTransform','logit'
Типы данных: char |
string
| function_handle
'Weights'
— Веса наблюденияTbl
Веса наблюдения в виде разделенной запятой пары, состоящей из 'Weights'
и положительный числовой вектор или имя переменной в Tbl
. Программное обеспечение взвешивает наблюдения в каждой строке X
или Tbl
с соответствующим значением в Weights
. Длина Weights
должен равняться количеству строк в X
или Tbl
.
Если вы задаете входные данные как таблицу Tbl
, затем Weights
может быть имя переменной в Tbl
это содержит числовой вектор. В этом случае необходимо задать Weights
как вектор символов или строковый скаляр. Например, если вектор весов W
хранится как Tbl.W
, затем задайте его как 'W'
. В противном случае программное обеспечение обрабатывает все столбцы Tbl
, включая W
, как предикторы или переменная отклика, когда обучение модель.
По умолчанию, Weights
ones(n,1)
, где n
количество наблюдений в X
или Tbl
.
Программное обеспечение нормирует Weights
суммировать к значению априорной вероятности в соответствующем классе.
Типы данных: single
| double
| char
| string
Mdl
— Обученная модель классификацииОбученная модель классификации, возвращенная как один из объектов модели классификации в этой таблице.
Имя ученика | Возвращенный объект модели |
---|---|
'discr' | CompactClassificationDiscriminant |
'ensemble' | CompactClassificationEnsemble |
'kernel' |
|
'knn' | ClassificationKNN |
'linear' |
|
'nb' | CompactClassificationNaiveBayes |
'svm' |
|
'tree' | CompactClassificationTree |
OptimizationResults
— Результаты оптимизацииBayesianOptimization
объектРезультаты оптимизации, возвращенные как BayesianOptimization
объект. Для получения дополнительной информации о Байесовом процессе оптимизации смотрите Байесовую Оптимизацию.
В зависимости от размера ваших данных и количества учеников вы задаете, fitcauto
может занять время, чтобы запуститься. Если у вас есть лицензия Parallel Computing Toolbox, можно ускорить расчеты путем выполнения оптимизации параллельно. Для этого задайте 'HyperparameterOptimizationOptions',struct('UseParallel',true)
. Можно включать другие поля в структуру, чтобы управлять другими аспектами оптимизации. Смотрите HyperparameterOptimizationOptions
.
Когда вы задаете 'Learners','auto'
, fitcauto
функция анализирует предиктор и данные об ответе для того, чтобы выбрать соответствующих учеников. Функция рассматривает, имеет ли набор данных какую-либо из этих характеристик:
Категориальные предикторы
Отсутствующие значения больше чем для 5% данных
Неустойчивые данные, где отношение количества наблюдений в самом большом классе к количеству наблюдений в самом маленьком классе больше 5
Больше чем 100 наблюдений в самом маленьком классе
Широкие данные, где количество предикторов больше или равно количеству наблюдений
Высоко-размерные данные, где количество предикторов больше 100
Большие данные, где количество наблюдений больше 50,000
Бинарная переменная отклика
Порядковая переменная отклика
Выбранные ученики всегда являются подмножеством перечисленных в Learners
таблица. Однако связанные модели, которые попробовали во время процесса оптимизации, могут иметь различные значения по умолчанию для гиперпараметров, не будучи оптимизированным, а также различных поисковых областей значений для оптимизируемых гиперпараметров.
Цель Байесовой оптимизации и оптимизации в целом, состоит в том, чтобы найти точку, которая минимизирует целевую функцию. В контексте fitcauto
, точка является типом ученика вместе с набором гиперзначений параметров для ученика (см. Learners
и OptimizeHyperparameters
), и целевая функция является ошибкой классификации перекрестных проверок по умолчанию. В случае fitcauto
, Байесова оптимизация внутренне обеспечивает multi-TreeBagger
модель целевой функции. Таким образом, разделения модели целевой функции вдоль типа ученика и, для данного ученика, моделью является TreeBagger
ансамбль для регрессии. (Эта базовая модель отличается от Гауссовой модели процесса, используемой другими функциями Statistics and Machine Learning Toolbox™, которые используют Байесовую оптимизацию.) Байесова оптимизация обучает базовую модель при помощи оценок целевой функции и определяет следующий вопрос, чтобы оценить при помощи функции приобретения ('expected-improvement'
). Для получения дополнительной информации смотрите Ожидаемое Улучшение. Функция приобретения балансируется между выборкой в точках с низкими смоделированными значениями целевой функции и исследованием областей, которые еще не хорошо моделируются. В конце оптимизации, fitcauto
выбирает точку с минимальным значением модели целевой функции, среди вопросов, рассмотренных во время оптимизации. Для получения дополнительной информации смотрите 'Criterion','min-visited-mean'
аргумент пары "имя-значение" bestPoint
.
Если вы не уверены, какие модели работают лучше всего на вас набор данных, можно альтернативно использовать приложение Classification Learner. Используя приложение, можно выполнить гиперпараметр, настраивающийся для различных моделей, и выбрать оптимизированную модель, которая выполняет лучше всего. Несмотря на то, что необходимо выбрать определенную модель, прежде чем можно будет настроить гиперпараметры модели, Classification Learner обеспечивает большую гибкость для выбора optimizable гиперпараметров и установки гиперзначений параметров. Однако вы не можете оптимизировать параллельно, выбрать 'linear'
или 'kernel'
ученики, задайте веса наблюдения или задайте априорные вероятности в приложении. Для получения дополнительной информации смотрите Гипероптимизацию параметров управления в Приложении Classification Learner.
Если вы знаете, какие модели могут удовлетворить вашим данным, можно альтернативно использовать соответствующие подходящие функции модели и задать 'OptimizeHyperparameters'
аргумент пары "имя-значение", чтобы настроить гиперпараметры. Можно сравнить результаты через модели, чтобы выбрать лучший классификатор. Для примера этого процесса смотрите, что Двигающий Выбор Модели Автоматизации Использует Байесовую Оптимизацию.
fitcdiscr
| fitcecoc
| fitcensemble
| fitckernel
| fitcknn
| fitclinear
| fitcnb
| fitcsvm
| fitctree
У вас есть модифицированная версия этого примера. Вы хотите открыть этот пример со своими редактированиями?
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.