fitrauto

Автоматически выберите модель регрессии оптимизированными гиперпараметрами

Описание

Учитывая предиктор и данные об ответе, fitrauto автоматически пробует выбор типов модели регрессии с различными гиперзначениями параметров. Функция использует Байесовую оптимизацию, чтобы выбрать модели и их гиперзначения параметров, и вычисляет следующее для каждой модели: журнал (1 + valLoss), где valLoss является среднеквадратической ошибкой (MSE) перекрестной проверки. После того, как оптимизация завершена, fitrauto возвращает модель, обученную на целом наборе данных, который, как ожидают, лучше всего предскажет ответы для новых данных. Можно использовать predict и loss объектные функции возвращенной модели, чтобы предсказать на новых данных и вычислить набор тестов MSE, соответственно.

Использование fitrauto когда вы не уверены, какие типы модели лучше всего удовлетворяют вашим данным. Для получения информации об альтернативных методах для настройки гиперпараметров моделей регрессии см. альтернативную функциональность.

пример

Mdl = fitrauto(Tbl,ResponseVarName) возвращает модель Mdl регрессии настроенными гиперпараметрами. Таблица Tbl содержит переменные предикторы и переменную отклика, где ResponseVarName имя переменной отклика.

Mdl = fitrauto(Tbl,formula) использование formula задавать переменную отклика и переменные предикторы, чтобы рассмотреть среди переменных в Tbl.

Mdl = fitrauto(Tbl,Y) использует переменные предикторы в таблице Tbl и значения отклика в векторном Y.

пример

Mdl = fitrauto(X,Y) использует переменные предикторы в матричном X и значения отклика в векторном Y.

пример

Mdl = fitrauto(___,Name,Value) задает опции с помощью одного или нескольких аргументов пары "имя-значение" в дополнение к любой из комбинаций входных аргументов в предыдущих синтаксисах. Например, используйте HyperparameterOptimizationOptions аргумент пары "имя-значение", чтобы задать, как Байесова оптимизация выполняется.

[Mdl,OptimizationResults] = fitrauto(___) дополнительно возвращает OptimizationResults, BayesianOptimization объект, содержащий результаты выбора модели и настраивающего процесса гиперпараметра.

Примеры

свернуть все

Используйте fitrauto автоматически выбрать модель регрессии оптимизированными гиперпараметрами, учитывая предиктор и данные об ответе, хранимые в таблице.

Загрузка данных

Загрузите carbig набор данных, который содержит измерения автомобилей, сделанных в 1970-х и в начале 1980-х.

load carbig

Составьте таблицу, содержащую переменные предикторы Acceleration, Displacement, и так далее, а также переменная отклика MPG.

cars = table(Acceleration,Displacement,Horsepower, ...
    Model_Year,Origin,Weight,MPG);

Данные о разделе

Разделите данные в наборы обучающих данных и наборы тестов. Используйте приблизительно 80% наблюдений для выбора модели и настраивающего процесса гиперпараметра, и 20% наблюдений, чтобы проверить производительность итоговой модели, возвращенной fitrauto. Используйте cvpartition разделить данные.

rng('default') % For reproducibility of the data partition
c = cvpartition(length(MPG),'Holdout',0.2);
trainingIdx = training(c); % Training set indices
carsTrain = cars(trainingIdx,:);
testIdx = test(c); % Test set indices
carsTest = cars(testIdx,:);

Запустите fitrauto

Передайте обучающие данные fitrauto. По умолчанию, fitrauto определяет соответствующие типы модели, чтобы попробовать, использует Байесовую оптимизацию, чтобы найти хорошие гиперзначения параметров и возвращает обученную модель Mdl с лучшей ожидаемой эффективностью. Кроме того, fitrauto предоставляет график оптимизации и итеративное отображение результатов оптимизации. Для получения дополнительной информации о том, как интерпретировать эти результаты, смотрите Многословное Отображение.

Ожидайте, что этот процесс займет время. Чтобы ускорить процесс оптимизации, рассмотрите выполнение оптимизации параллельно, если у вас есть лицензия Parallel Computing Toolbox™. Для этого передайте 'HyperparameterOptimizationOptions',struct('UseParallel',true) к fitrauto как аргумент пары "имя-значение".

Mdl = fitrauto(carsTrain,'MPG');
Learner types to explore: ensemble, svm, tree
Total iterations (MaxObjectiveEvaluations): 90
Total time (MaxTime): Inf

|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|    1 | Best   |           2.5161 |            1.4197 |           2.5161 |           2.5161 |         tree | MinLeafSize:              6 |
|    2 | Accept |           4.1439 |           0.68799 |           2.5161 |           2.5161 |          svm | BoxConstraint:       336.91 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0018275 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.1074 |
|    3 | Accept |            4.144 |            5.5942 |           2.5161 |           2.5161 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      257 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:            156 |
|    4 | Accept |           3.1976 |            20.387 |           2.5161 |           2.5161 |          svm | BoxConstraint:     0.033502 |
|      |        |                  |                   |                  |                  |              | KernelScale:         153.38 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.093672 |
|    5 | Best   |           2.5041 |           0.13106 |           2.5041 |           2.5101 |         tree | MinLeafSize:              5 |
|    6 | Best   |           2.2096 |            7.0177 |           2.2096 |           2.5101 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|    7 | Accept |           2.7182 |          0.085053 |           2.2096 |           2.5057 |         tree | MinLeafSize:              1 |
|    8 | Accept |           17.207 |            23.312 |           2.2096 |           2.5057 |          svm | BoxConstraint:       196.73 |
|      |        |                  |                   |                  |                  |              | KernelScale:         34.789 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.03716 |
|    9 | Accept |           4.1439 |          0.057226 |           2.2096 |           2.5057 |          svm | BoxConstraint:       346.92 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.032493 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.23974 |
|   10 | Best   |           2.1916 |            6.4368 |           2.1916 |           2.5057 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      278 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   11 | Accept |           2.8889 |            0.1325 |           2.1916 |           2.5057 |          svm | BoxConstraint:     0.033068 |
|      |        |                  |                   |                  |                  |              | KernelScale:         585.38 |
|      |        |                  |                   |                  |                  |              | Epsilon:             4.6993 |
|   12 | Accept |           4.1439 |           0.06362 |           2.1916 |           2.5057 |          svm | BoxConstraint:       48.997 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0045904 |
|      |        |                  |                   |                  |                  |              | Epsilon:             18.085 |
|   13 | Accept |           4.1439 |          0.048941 |           2.1916 |           2.5057 |          svm | BoxConstraint:       985.69 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0010988 |
|      |        |                  |                   |                  |                  |              | Epsilon:             449.48 |
|   14 | Accept |           2.2844 |            6.7538 |           2.1916 |           2.4806 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             63 |
|   15 | Accept |           4.1439 |          0.054943 |           2.1916 |           2.4806 |          svm | BoxConstraint:     0.010812 |
|      |        |                  |                   |                  |                  |              | KernelScale:         1.2015 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.034209 |
|   16 | Accept |           4.1439 |          0.055455 |           2.1916 |           2.4806 |          svm | BoxConstraint:    0.0021787 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.018209 |
|      |        |                  |                   |                  |                  |              | Epsilon:             443.71 |
|   17 | Accept |           2.2075 |            6.7931 |           2.1916 |           2.1942 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      283 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             17 |
|   18 | Accept |           2.6056 |           0.08425 |           2.1916 |           2.1942 |         tree | MinLeafSize:              2 |
|   19 | Accept |           2.6056 |          0.087135 |           2.1916 |           2.1942 |         tree | MinLeafSize:              2 |
|   20 | Accept |           2.7182 |          0.062848 |           2.1916 |           2.1942 |         tree | MinLeafSize:              1 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   21 | Accept |           2.2402 |            6.8909 |           2.1916 |           2.2011 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      282 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   22 | Accept |           2.6056 |          0.059067 |           2.1916 |           2.2011 |         tree | MinLeafSize:              2 |
|   23 | Accept |           2.3016 |            4.8177 |           2.1916 |           2.1911 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      202 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              9 |
|   24 | Accept |           4.1439 |           0.05258 |           2.1916 |           2.1911 |          svm | BoxConstraint:       37.028 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.033731 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.2457 |
|   25 | Accept |            3.352 |          0.043391 |           2.1916 |           2.1911 |         tree | MinLeafSize:            122 |
|   26 | Accept |           4.1439 |          0.062799 |           2.1916 |           2.1911 |          svm | BoxConstraint:      0.01045 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0024261 |
|      |        |                  |                   |                  |                  |              | Epsilon:             12.355 |
|   27 | Accept |           2.3188 |            5.1633 |           2.1916 |           2.1884 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      212 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   28 | Accept |           2.4271 |            5.8444 |           2.1916 |           2.1908 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      247 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             83 |
|   29 | Accept |           2.6056 |           0.05574 |           2.1916 |           2.1908 |         tree | MinLeafSize:              2 |
|   30 | Accept |           4.1439 |          0.054692 |           2.1916 |           2.1908 |          svm | BoxConstraint:       2.1296 |
|      |        |                  |                   |                  |                  |              | KernelScale:         3.2623 |
|      |        |                  |                   |                  |                  |              | Epsilon:             599.62 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   31 | Accept |           2.5241 |          0.051793 |           2.1916 |           2.1908 |         tree | MinLeafSize:              8 |
|   32 | Accept |           2.6443 |            5.2572 |           2.1916 |           2.1969 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      229 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             52 |
|   33 | Accept |           2.2537 |             5.641 |           2.1916 |           2.1931 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      235 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|   34 | Accept |           2.5448 |          0.053688 |           2.1916 |           2.1931 |         tree | MinLeafSize:             19 |
|   35 | Accept |           2.4438 |          0.045817 |           2.1916 |           2.1931 |         tree | MinLeafSize:             13 |
|   36 | Accept |           2.7182 |          0.062646 |           2.1916 |           2.1931 |         tree | MinLeafSize:              1 |
|   37 | Accept |           2.4749 |          0.048072 |           2.1916 |           2.1931 |         tree | MinLeafSize:              9 |
|   38 | Accept |           13.083 |            31.488 |           2.1916 |           2.1931 |          svm | BoxConstraint:       5.2568 |
|      |        |                  |                   |                  |                  |              | KernelScale:         10.811 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.073361 |
|   39 | Accept |           2.2446 |            5.2866 |           2.1916 |           2.1952 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      214 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|   40 | Accept |           3.0919 |          0.040315 |           2.1916 |           2.1952 |         tree | MinLeafSize:             62 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   41 | Accept |           2.6335 |            6.4626 |           2.1916 |           2.1926 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      280 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             45 |
|   42 | Accept |           4.1439 |          0.048186 |           2.1916 |           2.1926 |          svm | BoxConstraint:     0.093799 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0053728 |
|      |        |                  |                   |                  |                  |              | Epsilon:             17.332 |
|   43 | Accept |           2.8766 |          0.075435 |           2.1916 |           2.1926 |          svm | BoxConstraint:      0.20553 |
|      |        |                  |                   |                  |                  |              | KernelScale:         880.29 |
|      |        |                  |                   |                  |                  |              | Epsilon:             4.5637 |
|   44 | Accept |           2.2402 |            5.6507 |           2.1916 |           2.1944 |     ensemble | Method:             LSBoost |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      233 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   45 | Accept |           2.4576 |            5.4632 |           2.1916 |           2.1928 |     ensemble | Method:                 Bag |
|      |        |                  |                   |                  |                  |              | NumLearningCycles:      232 |
|      |        |                  |                   |                  |                  |              | MinLeafSize:             27 |
|   46 | Accept |            3.003 |          0.069043 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0010563 |
|      |        |                  |                   |                  |                  |              | KernelScale:         527.21 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.010074 |
|   47 | Accept |           4.1439 |           0.05544 |           2.1916 |           2.1928 |          svm | BoxConstraint:       1.6452 |
|      |        |                  |                   |                  |                  |              | KernelScale:         880.96 |
|      |        |                  |                   |                  |                  |              | Epsilon:             656.96 |
|   48 | Accept |           11.118 |            31.888 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.001029 |
|      |        |                  |                   |                  |                  |              | KernelScale:         25.502 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.22713 |
|   49 | Accept |           3.0019 |          0.064077 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.012054 |
|      |        |                  |                   |                  |                  |              | KernelScale:         976.62 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.013474 |
|   50 | Accept |           4.1439 |          0.069826 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.045381 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.030659 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.021441 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   51 | Accept |           4.1439 |          0.050005 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.090287 |
|      |        |                  |                   |                  |                  |              | KernelScale:         69.941 |
|      |        |                  |                   |                  |                  |              | Epsilon:             125.56 |
|   52 | Accept |           4.1439 |          0.054745 |           2.1916 |           2.1928 |          svm | BoxConstraint:       285.67 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.14938 |
|      |        |                  |                   |                  |                  |              | Epsilon:             764.19 |
|   53 | Accept |           2.8779 |           0.11876 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.064002 |
|      |        |                  |                   |                  |                  |              | KernelScale:         969.91 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.46473 |
|   54 | Accept |           12.921 |            18.315 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.019899 |
|      |        |                  |                   |                  |                  |              | KernelScale:         50.528 |
|      |        |                  |                   |                  |                  |              | Epsilon:          0.0091628 |
|   55 | Accept |           2.9117 |          0.076534 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.028436 |
|      |        |                  |                   |                  |                  |              | KernelScale:         919.02 |
|      |        |                  |                   |                  |                  |              | Epsilon:             1.2395 |
|   56 | Accept |           3.0276 |          0.064801 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0073097 |
|      |        |                  |                   |                  |                  |              | KernelScale:         898.72 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.088715 |
|   57 | Accept |           7.1555 |             20.87 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.07913 |
|      |        |                  |                   |                  |                  |              | KernelScale:         100.43 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.78937 |
|   58 | Accept |           2.9075 |          0.077548 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.03913 |
|      |        |                  |                   |                  |                  |              | KernelScale:         956.28 |
|      |        |                  |                   |                  |                  |              | Epsilon:             1.1315 |
|   59 | Accept |           2.9168 |          0.068648 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.033583 |
|      |        |                  |                   |                  |                  |              | KernelScale:         973.75 |
|      |        |                  |                   |                  |                  |              | Epsilon:             2.1404 |
|   60 | Accept |           4.1439 |          0.053635 |           2.1916 |           2.1928 |          svm | BoxConstraint:       0.1278 |
|      |        |                  |                   |                  |                  |              | KernelScale:         899.12 |
|      |        |                  |                   |                  |                  |              | Epsilon:             36.993 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   61 | Accept |           2.9456 |          0.073895 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.022705 |
|      |        |                  |                   |                  |                  |              | KernelScale:         995.04 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.21977 |
|   62 | Accept |           4.1439 |           0.04979 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0047868 |
|      |        |                  |                   |                  |                  |              | KernelScale:         0.1518 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.042601 |
|   63 | Accept |           2.9095 |          0.065115 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.033402 |
|      |        |                  |                   |                  |                  |              | KernelScale:         989.34 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.3073 |
|   64 | Accept |           4.1439 |          0.065248 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.056303 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.29988 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.10313 |
|   65 | Accept |           4.1439 |          0.050181 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0040769 |
|      |        |                  |                   |                  |                  |              | KernelScale:         238.59 |
|      |        |                  |                   |                  |                  |              | Epsilon:             32.573 |
|   66 | Accept |           2.6802 |            2.1221 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.11739 |
|      |        |                  |                   |                  |                  |              | KernelScale:         555.21 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.048956 |
|   67 | Accept |           4.1439 |          0.055315 |           2.1916 |           2.1928 |          svm | BoxConstraint:       772.51 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.016887 |
|      |        |                  |                   |                  |                  |              | Epsilon:             72.705 |
|   68 | Accept |           4.1439 |          0.063152 |           2.1916 |           2.1928 |          svm | BoxConstraint:       63.153 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0080065 |
|      |        |                  |                   |                  |                  |              | Epsilon:             481.39 |
|   69 | Accept |           4.1439 |          0.054083 |           2.1916 |           2.1928 |          svm | BoxConstraint:        4.117 |
|      |        |                  |                   |                  |                  |              | KernelScale:         73.496 |
|      |        |                  |                   |                  |                  |              | Epsilon:             121.74 |
|   70 | Accept |           4.1439 |           0.05377 |           2.1916 |           2.1928 |          svm | BoxConstraint:       30.398 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.12159 |
|      |        |                  |                   |                  |                  |              | Epsilon:              64.06 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   71 | Accept |           4.1439 |          0.053553 |           2.1916 |           2.1928 |          svm | BoxConstraint:       3.9304 |
|      |        |                  |                   |                  |                  |              | KernelScale:         871.88 |
|      |        |                  |                   |                  |                  |              | Epsilon:               23.7 |
|   72 | Accept |           4.1439 |          0.050525 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.031734 |
|      |        |                  |                   |                  |                  |              | KernelScale:        0.28247 |
|      |        |                  |                   |                  |                  |              | Epsilon:          0.0097239 |
|   73 | Accept |           4.1439 |          0.068567 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.021528 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.001858 |
|      |        |                  |                   |                  |                  |              | Epsilon:             283.71 |
|   74 | Accept |           4.1439 |          0.055336 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.024702 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.055101 |
|      |        |                  |                   |                  |                  |              | Epsilon:             84.374 |
|   75 | Accept |           2.8707 |          0.095257 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.070484 |
|      |        |                  |                   |                  |                  |              | KernelScale:         928.16 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.11681 |
|   76 | Accept |           4.1439 |          0.059476 |           2.1916 |           2.1928 |          svm | BoxConstraint:       636.13 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0020368 |
|      |        |                  |                   |                  |                  |              | Epsilon:             2.0625 |
|   77 | Accept |           2.8682 |           0.10867 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.059284 |
|      |        |                  |                   |                  |                  |              | KernelScale:         888.99 |
|      |        |                  |                   |                  |                  |              | Epsilon:             0.1389 |
|   78 | Accept |           2.7111 |           0.59286 |           2.1916 |           2.1928 |          svm | BoxConstraint:       2.4776 |
|      |        |                  |                   |                  |                  |              | KernelScale:          998.2 |
|      |        |                  |                   |                  |                  |              | Epsilon:             1.5291 |
|   79 | Accept |           2.7625 |           0.45668 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.91288 |
|      |        |                  |                   |                  |                  |              | KernelScale:         996.35 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.16968 |
|   80 | Accept |           3.2211 |          0.058812 |           2.1916 |           2.1928 |          svm | BoxConstraint:    0.0011498 |
|      |        |                  |                   |                  |                  |              | KernelScale:         989.38 |
|      |        |                  |                   |                  |                  |              | Epsilon:          0.0091368 |
|=========================================================================================================================================|
| Iter | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|=========================================================================================================================================|
|   81 | Accept |           4.1439 |           0.05754 |           2.1916 |           2.1928 |          svm | BoxConstraint:       26.543 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0016089 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.68659 |
|   82 | Accept |           4.1439 |          0.055356 |           2.1916 |           2.1928 |          svm | BoxConstraint:       129.11 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.044504 |
|      |        |                  |                   |                  |                  |              | Epsilon:             3.7911 |
|   83 | Accept |           2.7643 |           0.51644 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.82852 |
|      |        |                  |                   |                  |                  |              | KernelScale:         990.02 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.013169 |
|   84 | Accept |           4.1439 |           0.05615 |           2.1916 |           2.1928 |          svm | BoxConstraint:       53.003 |
|      |        |                  |                   |                  |                  |              | KernelScale:         3.9941 |
|      |        |                  |                   |                  |                  |              | Epsilon:             318.78 |
|   85 | Accept |           4.1439 |          0.054645 |           2.1916 |           2.1928 |          svm | BoxConstraint:       10.848 |
|      |        |                  |                   |                  |                  |              | KernelScale:         0.2138 |
|      |        |                  |                   |                  |                  |              | Epsilon:             876.72 |
|   86 | Accept |           2.8797 |          0.077707 |           2.1916 |           2.1928 |          svm | BoxConstraint:     0.063788 |
|      |        |                  |                   |                  |                  |              | KernelScale:         999.56 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.24966 |
|   87 | Accept |           4.1439 |          0.056472 |           2.1916 |           2.1928 |          svm | BoxConstraint:       29.921 |
|      |        |                  |                   |                  |                  |              | KernelScale:         300.51 |
|      |        |                  |                   |                  |                  |              | Epsilon:             872.64 |
|   88 | Accept |           4.1439 |          0.053269 |           2.1916 |           2.1928 |          svm | BoxConstraint:       0.5701 |
|      |        |                  |                   |                  |                  |              | KernelScale:       0.020421 |
|      |        |                  |                   |                  |                  |              | Epsilon:             282.76 |
|   89 | Accept |           4.1439 |          0.054778 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.60472 |
|      |        |                  |                   |                  |                  |              | KernelScale:      0.0052641 |
|      |        |                  |                   |                  |                  |              | Epsilon:            0.11831 |
|   90 | Accept |           2.8676 |          0.097394 |           2.1916 |           2.1928 |          svm | BoxConstraint:      0.11411 |
|      |        |                  |                   |                  |                  |              | KernelScale:         977.02 |
|      |        |                  |                   |                  |                  |              | Epsilon:           0.090725 |

__________________________________________________________
Optimization completed.
Total iterations: 90
Total elapsed time: 589.6892 seconds
Total time for training and validation: 245.2123 seconds

Best observed learner is an ensemble model with:
	Method:             LSBoost
	NumLearningCycles:      278
	MinLeafSize:             13
Observed log(1 + valLoss): 2.1916
Time for training and validation: 6.4368 seconds

Best estimated learner (returned model) is an ensemble model with:
	Method:             LSBoost
	NumLearningCycles:      278
	MinLeafSize:             13
Estimated log(1 + valLoss): 2.1928
Estimated time for training and validation: 5.8977 seconds

Documentation for fitrauto display

Итоговая модель возвращена fitrauto соответствует лучшему предполагаемому ученику. Прежде, чем возвратить модель, функция переобучает его с помощью целых обучающих данных (carsTrain), перечисленный Learner (или модель) тип и отображенные гиперзначения параметров.

Оцените эффективность набора тестов

Оцените эффективность модели на наборе тестов. testError основан на среднеквадратической ошибке (MSE) набора тестов. Меньшие значения MSE указывают на лучшую эффективность.

testMSE = loss(Mdl,carsTest,'MPG');
testError = log(1 + testMSE)
testError = 2.3194

Используйте fitrauto автоматически выбрать модель регрессии оптимизированными гиперпараметрами, учитывая предиктор и данные об ответе, хранимые в отдельных переменных.

Загрузка данных

Загрузите carbig набор данных, который содержит измерения автомобилей, сделанных в 1970-х и в начале 1980-х.

load carbig

Создайте матричный X содержа переменные предикторы Acceleration, Cylinders, и так далее. Сохраните переменную отклика MPG в переменной Y.

X = [Acceleration Cylinders Displacement Weight];
Y = MPG;

Создайте переменную, указывающую, какие предикторы являются категориальными. Cylinders единственная категориальная переменная в X.

categoricalVars = [false true false false];

Данные о разделе

Разделите данные в наборы обучающих данных и наборы тестов. Используйте приблизительно 80% наблюдений для выбора модели и настраивающего процесса гиперпараметра, и 20% наблюдений, чтобы проверить производительность итоговой модели, возвращенной fitrauto. Используйте cvpartition разделить данные.

rng('default') % For reproducibility of the partition
c = cvpartition(length(Y),'Holdout',0.20);
trainingIdx = training(c); % Indices for the training set
XTrain = X(trainingIdx,:);
YTrain = Y(trainingIdx);
testIdx = test(c); % Indices for the test set
XTest = X(testIdx,:);
YTest = Y(testIdx);

Запустите fitrauto

Передайте обучающие данные fitrauto. По умолчанию, fitrauto определяет соответствующую модель (или ученик) типы, чтобы попробовать, использует Байесовую оптимизацию, чтобы найти хорошие гиперзначения параметров для тех моделей и возвращает обученную модель Mdl с лучшей ожидаемой эффективностью. Задайте категориальные предикторы и запуститесь, оптимизация параллельно (требует Parallel Computing Toolbox™). Возвратите второй выход OptimizationResults это содержит детали Байесовой оптимизации.

Ожидайте, что этот процесс займет время. По умолчанию, fitrauto предоставляет график оптимизации и итеративное отображение результатов оптимизации. Для получения дополнительной информации о том, как интерпретировать эти результаты, смотрите Многословное Отображение.

options = struct('UseParallel',true);
[Mdl,OptimizationResults] = fitrauto(XTrain,YTrain, ...
    'CategoricalPredictors',categoricalVars, ...
    'HyperparameterOptimizationOptions',options);
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
Copying objective function to workers...
Done copying objective function to workers.
Learner types to explore: ensemble, svm, tree
Total iterations (MaxObjectiveEvaluations): 90
Total time (MaxTime): Inf
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|    1 |       5 | Best   |           3.0205 |            1.6237 |           3.0205 |           3.0329 |         tree | MinLeafSize:              6 |
|    2 |       5 | Accept |           3.0453 |             1.572 |           3.0205 |           3.0329 |         tree | MinLeafSize:              5 |
|    3 |       5 | Accept |            4.143 |            2.4922 |           3.0205 |           3.0329 |          svm | BoxConstraint:       336.91 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0018275 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.1074 |
|    4 |       5 | Accept |            4.143 |           0.68486 |           3.0205 |           3.0329 |          svm | BoxConstraint:       346.92 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.032493 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.23974 |
|    5 |       4 | Accept |           4.1434 |            7.9255 |           2.9188 |           3.0329 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      257 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            156 |
|    6 |       4 | Best   |           2.9188 |            9.0443 |           2.9188 |           3.0329 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|    7 |       4 | Accept |           2.9275 |           0.30936 |           2.9188 |           2.9276 |          svm | BoxConstraint:     0.033068 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         585.38 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.6993 |
|    8 |       4 | Accept |            4.143 |           0.12692 |           2.9188 |           2.9276 |          svm | BoxConstraint:       985.69 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0010988 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             449.48 |
|    9 |       4 | Best   |           2.8721 |            7.5254 |           2.8721 |           2.9276 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      278 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|   10 |       4 | Accept |            4.143 |           0.12977 |           2.8721 |           2.9276 |          svm | BoxConstraint:     0.010812 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         1.2015 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.034209 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   11 |       3 | Accept |           2.9167 |            7.4347 |           2.8721 |           2.9276 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      287 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             63 |
|   12 |       3 | Accept |            4.143 |           0.18882 |           2.8721 |           2.9276 |          svm | BoxConstraint:    0.0021787 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.018209 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             443.71 |
|   13 |       6 | Accept |           3.6673 |            23.678 |           2.8721 |           2.9277 |          svm | BoxConstraint:     0.033502 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         153.38 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.093672 |
|   14 |       3 | Accept |           3.1971 |           0.31534 |           2.8721 |           2.9277 |         tree | MinLeafSize:              2 |
|   15 |       3 | Accept |            4.143 |            1.3488 |           2.8721 |           2.9277 |          svm | BoxConstraint:    0.0023916 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0049969 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             3.0552 |
|   16 |       3 | Accept |           3.0139 |           0.45304 |           2.8721 |           2.9277 |         tree | MinLeafSize:             34 |
|   17 |       3 | Accept |           3.3225 |           0.23199 |           2.8721 |           2.9277 |         tree | MinLeafSize:            122 |
|   18 |       4 | Best   |           2.8696 |            5.7263 |           2.8696 |           2.9278 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      283 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             17 |
|   19 |       4 | Accept |           3.2501 |            0.0799 |           2.8696 |           2.9278 |         tree | MinLeafSize:              1 |
|   20 |       4 | Accept |            4.143 |          0.079241 |           2.8696 |           2.9278 |          svm | BoxConstraint:       37.028 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.033731 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.2457 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   21 |       3 | Accept |           2.9536 |           0.19208 |           2.8696 |           2.9278 |         tree | MinLeafSize:             11 |
|   22 |       3 | Accept |            4.143 |           0.18269 |           2.8696 |           2.9278 |          svm | BoxConstraint:       240.91 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0063646 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             92.342 |
|   23 |       6 | Best   |           2.8672 |            5.0865 |           2.8672 |           2.8672 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      234 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             31 |
|   24 |       2 | Best   |           2.8399 |            4.7739 |           2.8399 |           2.8672 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      212 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   25 |       2 | Accept |           3.1971 |           0.15794 |           2.8399 |           2.8672 |         tree | MinLeafSize:              2 |
|   26 |       2 | Accept |            4.143 |           0.10773 |           2.8399 |           2.8672 |          svm | BoxConstraint:       282.29 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.046131 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             12.059 |
|   27 |       2 | Accept |            4.143 |           0.71154 |           2.8399 |           2.8672 |          svm | BoxConstraint:    0.0054508 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.013151 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             51.093 |
|   28 |       2 | Accept |            4.143 |           0.68201 |           2.8399 |           2.8672 |          svm | BoxConstraint:       7.8926 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.10102 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.61148 |
|   29 |       6 | Accept |            4.143 |           0.10752 |           2.8399 |           2.8672 |          svm | BoxConstraint:       2.1296 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         3.2623 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             599.62 |
|   30 |       4 | Accept |           2.9403 |           0.12443 |           2.8399 |           2.8672 |         tree | MinLeafSize:             13 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   31 |       4 | Accept |            4.143 |          0.081103 |           2.8399 |           2.8672 |          svm | BoxConstraint:    0.0085377 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.049456 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.59637 |
|   32 |       4 | Accept |            4.143 |           0.23798 |           2.8399 |           2.8672 |          svm | BoxConstraint:     0.036827 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         504.96 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             157.94 |
|   33 |       4 | Accept |           3.2501 |          0.064846 |           2.8399 |           2.8672 |         tree | MinLeafSize:              1 |
|   34 |       3 | Accept |           2.8783 |            6.0315 |           2.8399 |           2.8221 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      269 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              3 |
|   35 |       3 | Accept |            3.112 |          0.055138 |           2.8399 |           2.8221 |         tree | MinLeafSize:             62 |
|   36 |       3 | Accept |            3.112 |          0.044344 |           2.8399 |           2.8221 |         tree | MinLeafSize:             62 |
|   37 |       6 | Accept |           2.8477 |            6.7753 |           2.8399 |           2.8399 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      293 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   38 |       4 | Accept |           2.8842 |            4.8511 |           2.8399 |           2.8399 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      214 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              4 |
|   39 |       4 | Accept |           2.9282 |           0.12077 |           2.8399 |           2.8399 |          svm | BoxConstraint:      0.20553 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         880.29 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.5637 |
|   40 |       4 | Accept |            4.143 |           0.22687 |           2.8399 |           2.8399 |          svm | BoxConstraint:       26.303 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.40313 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              228.3 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   41 |       3 | Accept |           3.0928 |            5.0527 |           2.8294 |           2.8294 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      250 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             70 |
|   42 |       3 | Best   |           2.8294 |            4.9244 |           2.8294 |           2.8294 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      207 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              8 |
|   43 |       4 | Accept |           2.8717 |            4.8606 |           2.8294 |           2.8294 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      233 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|   44 |       4 | Accept |           2.8489 |            4.4632 |           2.8294 |           2.8294 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      200 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|   45 |       4 | Accept |           3.3765 |          0.069033 |           2.8294 |           2.8294 |         tree | MinLeafSize:            117 |
|   46 |       4 | Accept |            4.143 |           0.10501 |           2.8294 |           2.8294 |          svm | BoxConstraint:     0.032384 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         797.08 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             64.843 |
|   47 |       4 | Accept |           2.8401 |            5.5934 |           2.8294 |           2.8295 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      300 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             25 |
|   48 |       4 | Accept |           2.8389 |            5.6037 |           2.8294 |           2.8295 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      297 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|   49 |       3 | Accept |           4.8036 |            15.721 |           2.8294 |           2.8295 |          svm | BoxConstraint:     0.006061 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         127.62 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:          0.0090183 |
|   50 |       3 | Accept |           2.8545 |             3.771 |           2.8294 |           2.8295 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      201 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             34 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   51 |       6 | Accept |           2.8713 |             13.26 |           2.8294 |           2.8295 |          svm | BoxConstraint:      0.10041 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         286.12 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.3001 |
|   52 |       2 | Best   |           2.8234 |            5.8022 |           2.8234 |           2.7997 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      298 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|   53 |       2 | Accept |           2.9029 |           0.40398 |           2.8234 |           2.7997 |          svm | BoxConstraint:     0.088088 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         611.34 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.8047 |
|   54 |       2 | Accept |           2.9804 |          0.091645 |           2.8234 |           2.7997 |         tree | MinLeafSize:              8 |
|   55 |       2 | Accept |           2.9032 |           0.10799 |           2.8234 |           2.7997 |         tree | MinLeafSize:             17 |
|   56 |       2 | Accept |            4.143 |          0.070695 |           2.8234 |           2.7997 |          svm | BoxConstraint:    0.0011341 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0017464 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.012532 |
|   57 |       6 | Accept |            4.143 |          0.065257 |           2.8234 |           2.7997 |          svm | BoxConstraint:       275.76 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.034549 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             6.2312 |
|   58 |       4 | Accept |            2.829 |            6.4083 |           2.8234 |           2.7997 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      299 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|   59 |       4 | Accept |           2.8955 |            2.0815 |           2.8234 |           2.7997 |          svm | BoxConstraint:      0.10295 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         505.98 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              1.431 |
|   60 |       4 | Accept |           2.9081 |            1.9958 |           2.8234 |           2.7997 |          svm | BoxConstraint:    0.0012679 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         229.31 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.075286 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   61 |       3 | Accept |           2.8398 |            4.7822 |           2.8234 |           2.7997 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      219 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             26 |
|   62 |       3 | Accept |            2.895 |              3.43 |           2.8234 |           2.7997 |          svm | BoxConstraint:      0.15672 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         480.16 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.1335 |
|   63 |       6 | Accept |            2.912 |           0.27526 |           2.8234 |           2.7997 |          svm | BoxConstraint:    0.0013925 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         333.99 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.24069 |
|   64 |       4 | Accept |            4.143 |          0.069807 |           2.8234 |           2.7997 |          svm | BoxConstraint:       164.25 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:            422 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             709.16 |
|   65 |       4 | Accept |           2.8365 |            4.0891 |           2.8234 |           2.7997 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      205 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              3 |
|   66 |       4 | Accept |            4.143 |           0.08222 |           2.8234 |           2.7997 |          svm | BoxConstraint:    0.0011924 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         6.2437 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             469.79 |
|   67 |       4 | Accept |           2.8335 |            5.8422 |           2.8234 |           2.8284 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      299 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|   68 |       4 | Best   |           2.8221 |            5.8695 |           2.8221 |           2.8267 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      299 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|   69 |       4 | Accept |           2.9044 |            3.5533 |           2.8221 |           2.8267 |          svm | BoxConstraint:      0.01371 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:          287.4 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              2.327 |
|   70 |       3 | Accept |            4.143 |            30.826 |           2.8221 |           2.8267 |          svm | BoxConstraint:       1.3468 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         9.6762 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.023868 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   71 |       3 | Accept |           2.9103 |           0.35083 |           2.8221 |           2.8267 |          svm | BoxConstraint:    0.0010155 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         291.09 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.12643 |
|   72 |       6 | Accept |           4.0387 |            14.658 |           2.8221 |           2.8267 |          svm | BoxConstraint:    0.0011011 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         144.34 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13364 |
|   73 |       6 | Accept |            4.143 |          0.045609 |           2.8221 |           2.8267 |          svm | BoxConstraint:      0.06348 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.013026 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             3.9464 |
|   74 |       6 | Accept |           2.9359 |          0.083339 |           2.8221 |           2.8267 |          svm | BoxConstraint:     0.019713 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         788.49 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.2928 |
|   75 |       4 | Accept |           2.8747 |            13.324 |           2.8221 |           2.8267 |          svm | BoxConstraint:      0.49436 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         384.21 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.5974 |
|   76 |       4 | Accept |           2.8736 |            9.1937 |           2.8221 |           2.8267 |          svm | BoxConstraint:    0.0030947 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         213.11 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.21173 |
|   77 |       4 | Accept |           2.9658 |           0.08181 |           2.8221 |           2.8267 |          svm | BoxConstraint:     0.012832 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:          837.4 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.0468 |
|   78 |       4 | Accept |           2.9983 |          0.053408 |           2.8221 |           2.8267 |          svm | BoxConstraint:     0.012618 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         952.91 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.99477 |
|   79 |       3 | Accept |            9.656 |            20.116 |           2.8221 |           2.8077 |          svm | BoxConstraint:       121.18 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         196.01 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.010913 |
|   80 |       3 | Accept |           2.9123 |           0.30498 |           2.8221 |           2.8077 |          svm | BoxConstraint:     0.023221 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         560.55 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              1.199 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   81 |       3 | Accept |           2.8944 |            3.6373 |           2.8221 |           2.7917 |          svm | BoxConstraint:      0.06032 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         409.44 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.7539 |
|   82 |       3 | Accept |            3.242 |           0.06087 |           2.8221 |           2.7917 |          svm | BoxConstraint:    0.0010019 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         979.17 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13535 |
|   83 |       3 | Accept |           3.0281 |          0.043666 |           2.8221 |           2.7917 |         tree | MinLeafSize:             57 |
|   84 |       3 | Accept |           3.1507 |           0.06327 |           2.8221 |           2.7917 |         tree | MinLeafSize:              3 |
|   85 |       6 | Accept |            4.143 |          0.056953 |           2.8221 |           2.8069 |          svm | BoxConstraint:       220.96 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         28.058 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             66.219 |
|   86 |       3 | Accept |           11.403 |            31.076 |           2.8221 |           2.8069 |          svm | BoxConstraint:       1.8523 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         17.462 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             7.7025 |
|   87 |       3 | Accept |           2.8513 |            5.3882 |           2.8221 |           2.8069 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      275 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              1 |
|   88 |       3 | Accept |            4.143 |           0.10474 |           2.8221 |           2.8069 |          svm | BoxConstraint:        8.342 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         70.835 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             38.428 |
|   89 |       3 | Accept |            2.856 |            3.9903 |           2.8221 |           2.8069 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | NumLearningCycles:      210 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              9 |
|   90 |       4 | Accept |            4.143 |          0.052586 |           2.8221 |           2.8271 |          svm | BoxConstraint:       119.13 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.037027 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.010414 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   91 |       4 | Accept |           3.1971 |          0.090004 |           2.8221 |           2.8271 |         tree | MinLeafSize:              2 |
|   92 |       4 | Accept |            2.919 |           0.14565 |           2.8221 |           2.8271 |          svm | BoxConstraint:    0.0028006 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         454.44 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.10156 |

__________________________________________________________
Optimization completed.
Total iterations: 92
Total elapsed time: 171.8421 seconds
Total time for training and validation: 343.7768 seconds

Best observed learner is an ensemble model with:
	Method:                 Bag
	NumLearningCycles:      299
	MinLeafSize:              6
Observed log(1 + valLoss): 2.8221
Time for training and validation: 5.8695 seconds

Best estimated learner (returned model) is an ensemble model with:
	Method:                 Bag
	NumLearningCycles:      298
	MinLeafSize:              6
Estimated log(1 + valLoss): 2.8271
Estimated time for training and validation: 5.9689 seconds

Documentation for fitrauto display

Итоговая модель возвращена fitrauto соответствует лучшему предполагаемому ученику. Прежде, чем возвратить модель, функция переобучает его с помощью целых обучающих данных (XTrain и YTrain), перечисленный Learner (или модель) тип и отображенные гиперзначения параметров.

Оцените эффективность набора тестов

Оцените эффективность модели на наборе тестов. testError основан на среднеквадратической ошибке (MSE) набора тестов. Меньшие значения MSE указывают на лучшую эффективность.

testMSE = loss(Mdl,XTest,YTest);
testError = log(1 + testMSE)
testError = 2.8904

Используйте fitrauto автоматически выбрать модель регрессии оптимизированными гиперпараметрами, учитывая предиктор и данные об ответе, хранимые в таблице. Сравните эффективность получившейся модели регрессии к эффективности простой модели линейной регрессии, созданной с fitlm.

Загрузка и данные о разделе

Загрузите carbig набор данных, который содержит измерения автомобилей, сделанных в 1970-х и в начале 1980-х. Преобразуйте Cylinders переменная к categorical переменная. Составьте таблицу, содержащую переменные предикторы Acceleration, Cylinders, Displacement, и так далее, а также переменная отклика MPG.

load carbig
Cylinders = categorical(Cylinders);
cars = table(Acceleration,Cylinders,Displacement, ...
    Horsepower,Model_Year,Origin,Weight,MPG);

Разделите данные в наборы обучающих данных и наборы тестов. Используйте приблизительно 80% наблюдений для обучения и 20% наблюдений для тестирования. Используйте cvpartition разделить данные.

rng('default') % For reproducibility of the data partition
c = cvpartition(length(MPG),'Holdout',0.2);
trainingIdx = training(c); % Training set indices
carsTrain = cars(trainingIdx,:);
testIdx = test(c); % Test set indices
carsTest = cars(testIdx,:);

Запустите fitrauto

Передайте обучающие данные fitrauto. По умолчанию, fitrauto определяет соответствующие типы модели, чтобы попробовать, использует Байесовую оптимизацию, чтобы найти хорошие гиперзначения параметров и возвращает обученную модель autoMdl с лучшей ожидаемой эффективностью. Задайте, чтобы оптимизировать по всем optimizable гиперпараметрам и запуститься, оптимизация параллельно (требует Parallel Computing Toolbox™).

Ожидайте, что этот процесс займет время. По умолчанию, fitrauto предоставляет график оптимизации и итеративное отображение результатов оптимизации. Для получения дополнительной информации о том, как интерпретировать эти результаты, смотрите Многословное Отображение.

options = struct('UseParallel',true);
autoMdl = fitrauto(carsTrain,'MPG','OptimizeHyperparameters','all', ...
    'HyperparameterOptimizationOptions',options);
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
Copying objective function to workers...
Done copying objective function to workers.
Learner types to explore: ensemble, svm, tree
Total iterations (MaxObjectiveEvaluations): 90
Total time (MaxTime): Inf
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|    1 |       4 | Accept |           3.1825 |            1.6878 |           2.6471 |           2.6473 |         tree | MinLeafSize:             38 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     1 |
|    2 |       4 | Best   |           2.6471 |             1.696 |           2.6471 |           2.6473 |         tree | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            44 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     4 |
|    3 |       4 | Accept |           2.6683 |            1.6819 |           2.6471 |           2.6473 |         tree | MinLeafSize:             29 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            52 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|    4 |       4 | Accept |           4.1439 |            3.1431 |           2.6471 |           2.6473 |          svm | BoxConstraint:     0.010718 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         1.7547 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              182.6 |
|    5 |       3 | Best   |           2.3998 |            6.3705 |           2.3998 |           2.6473 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.64294 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             39 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|    6 |       3 | Accept |           4.1439 |            0.2549 |           2.3998 |           2.6473 |          svm | BoxConstraint:     0.012677 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         351.81 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             140.99 |
|    7 |       6 | Best   |           2.2082 |            7.2862 |           2.2082 |           2.2593 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.033855 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              6 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|    8 |       5 | Accept |           4.1439 |           0.83218 |           2.2082 |           2.2593 |          svm | BoxConstraint:       37.191 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         21.113 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             33.874 |
|    9 |       5 | Accept |           2.7394 |            1.4286 |           2.2082 |           2.2593 |          svm | BoxConstraint:     0.057859 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         448.87 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             4.2169 |
|   10 |       4 | Accept |           2.3268 |            6.0389 |           2.2082 |           2.5006 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             23 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     6 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   11 |       4 | Accept |           3.2336 |            5.2449 |           2.2082 |           2.5006 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.56281 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            123 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   12 |       4 | Accept |           2.5987 |            6.0197 |           2.2082 |           2.5092 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.89898 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   13 |       4 | Accept |           2.7106 |            5.0205 |           2.2082 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:          0.74839 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             88 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   14 |       5 | Accept |           2.3047 |            6.3839 |           2.2082 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.017107 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   15 |       5 | Accept |            2.845 |           0.38816 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0027083 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         413.17 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13572 |
|   16 |       3 | Accept |           2.6619 |            4.0497 |           2.2082 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             46 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   17 |       3 | Accept |            2.845 |             1.475 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0027083 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         413.17 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13572 |
|   18 |       3 | Accept |            2.845 |            1.3127 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0027083 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         413.17 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13572 |
|   19 |       6 | Accept |           2.6961 |           0.23596 |           2.2082 |           2.2846 |         tree | MinLeafSize:              5 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             7 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   20 |       5 | Accept |            4.143 |           0.20641 |           2.2082 |           2.2846 |         tree | MinLeafSize:            138 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             3 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   21 |       5 | Accept |           3.4903 |            0.1284 |           2.2082 |           2.2846 |         tree | MinLeafSize:             83 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            41 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   22 |       3 | Accept |           2.2233 |            4.8768 |           2.2082 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.055038 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   23 |       3 | Accept |           2.3507 |            4.7876 |           2.2082 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   24 |       3 | Accept |            4.143 |          0.055475 |           2.2082 |           2.2846 |         tree | MinLeafSize:            132 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             8 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   25 |       6 | Accept |           4.1439 |            32.664 |           2.2082 |           2.2846 |          svm | BoxConstraint:      0.15265 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         1.4893 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.44287 |
|   26 |       6 | Accept |           3.2612 |           0.48094 |           2.2082 |           2.2846 |         tree | MinLeafSize:             72 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            76 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     3 |
|   27 |       2 | Accept |           5.9862 |            4.4845 |           2.2082 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.001143 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:            104 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   28 |       2 | Accept |           2.2467 |             6.314 |           2.2082 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             12 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|   29 |       2 | Accept |           2.9745 |            6.2592 |           2.2082 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.010155 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   30 |       2 | Accept |           2.4555 |           0.24915 |           2.2082 |           2.2846 |         tree | MinLeafSize:              8 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            85 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   31 |       2 | Accept |           2.5778 |          0.051639 |           2.2082 |           2.2846 |         tree | MinLeafSize:              6 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            43 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   32 |       5 | Accept |            3.031 |          0.066903 |           2.2082 |           2.2846 |         tree | MinLeafSize:             44 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:           265 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   33 |       5 | Accept |           2.8424 |          0.087547 |           2.2082 |           2.2846 |         tree | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            90 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   34 |       6 | Accept |           4.1439 |           0.12337 |           2.2082 |           2.2846 |          svm | BoxConstraint:       2.1967 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.02117 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.20631 |
|   35 |       5 | Accept |           2.3629 |            4.8606 |           2.2082 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:              3 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   36 |       5 | Accept |           4.1439 |          0.056543 |           2.2082 |           2.2846 |          svm | BoxConstraint:       2.1967 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.02117 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.20631 |
|   37 |       5 | Accept |           4.1439 |          0.053075 |           2.2082 |           2.2846 |          svm | BoxConstraint:       1.5262 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.16982 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.09432 |
|   38 |       6 | Accept |           4.1439 |           0.12616 |           2.2082 |           2.2846 |          svm | BoxConstraint:       488.75 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.047261 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.019147 |
|   39 |       4 | Accept |            2.611 |            14.154 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0057698 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         199.91 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              1.094 |
|   40 |       4 | Accept |           3.1538 |            4.3469 |           2.2082 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             82 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   41 |       4 | Accept |           4.1439 |           0.05576 |           2.2082 |           2.2846 |          svm | BoxConstraint:       488.75 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.047261 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.019147 |
|   42 |       3 | Accept |           14.841 |            32.126 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.022624 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         14.497 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.076166 |
|   43 |       3 | Accept |           4.1439 |           0.10864 |           2.2082 |           2.2846 |          svm | BoxConstraint:       347.06 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.024995 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.012891 |
|   44 |       6 | Accept |            3.539 |          0.049608 |           2.2082 |           2.2846 |         tree | MinLeafSize:              1 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             1 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     1 |
|   45 |       2 | Accept |           4.1439 |            29.948 |           2.2082 |           2.2846 |          svm | BoxConstraint:       1.6286 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         8.1222 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.032824 |
|   46 |       2 | Accept |            3.024 |          0.090484 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0090015 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         969.06 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.60305 |
|   47 |       2 | Accept |           2.8238 |          0.065909 |           2.2082 |           2.2846 |         tree | MinLeafSize:              2 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            12 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   48 |       2 | Accept |           4.1439 |           0.10484 |           2.2082 |           2.2846 |          svm | BoxConstraint:       45.111 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         2.4682 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              279.1 |
|   49 |       2 | Accept |           3.0246 |          0.068829 |           2.2082 |           2.2846 |         tree | MinLeafSize:             36 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             3 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     4 |
|   50 |       6 | Accept |           3.1255 |           0.10386 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.003354 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         933.08 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.0432 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   51 |       2 | Accept |           2.8825 |            1.1593 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0086068 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         204.65 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             7.8718 |
|   52 |       2 | Accept |           4.8598 |            6.1993 |           2.2082 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:        0.0040831 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             10 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   53 |       2 | Accept |           4.1439 |          0.078796 |           2.2082 |           2.2846 |          svm | BoxConstraint:       19.339 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         336.27 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             745.75 |
|   54 |       2 | Accept |           2.5158 |           0.14155 |           2.2082 |           2.2846 |         tree | MinLeafSize:              8 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            80 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     5 |
|   55 |       2 | Accept |           3.3875 |          0.062779 |           2.2082 |           2.2846 |         tree | MinLeafSize:             84 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             4 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|   56 |       3 | Accept |           2.6873 |          0.061071 |           2.2082 |           2.2846 |         tree | MinLeafSize:              9 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:           204 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   57 |       3 | Accept |           4.1439 |           0.11687 |           2.2082 |           2.2846 |          svm | BoxConstraint:      0.42148 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.48707 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.0689 |
|   58 |       3 | Accept |           4.1439 |           0.10415 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0012156 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.015427 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.060481 |
|   59 |       3 | Accept |           4.1439 |           0.08245 |           2.2082 |           2.2846 |          svm | BoxConstraint:      0.44269 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.004171 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.12586 |
|   60 |       6 | Accept |           3.0291 |           0.18287 |           2.2082 |           2.2846 |         tree | MinLeafSize:             23 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:             4 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   61 |       2 | Accept |           9.4831 |            19.284 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.012087 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         123.25 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              8.241 |
|   62 |       2 | Accept |           4.1439 |          0.057065 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0056469 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         1.2745 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.83867 |
|   63 |       2 | Accept |           4.1439 |          0.061443 |           2.2082 |           2.2846 |          svm | BoxConstraint:      0.01064 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:       0.001826 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             0.1071 |
|   64 |       2 | Accept |           4.1439 |          0.084129 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.020589 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         910.21 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              441.3 |
|   65 |       2 | Accept |           3.2302 |          0.059381 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.001004 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         971.66 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:           0.041793 |
|   66 |       6 | Accept |           2.8836 |           0.10666 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.003589 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         510.21 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.43831 |
|   67 |       4 | Accept |           5.6326 |            17.631 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0010527 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         108.83 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.5761 |
|   68 |       4 | Accept |           2.3637 |            4.2106 |           2.2082 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             18 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     3 |
|   69 |       4 | Accept |           4.1439 |           0.21335 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0040733 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0012016 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.10292 |
|   70 |       4 | Accept |           2.8784 |           0.14901 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0035987 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         502.49 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.33747 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   71 |       4 | Accept |           2.8658 |           0.16512 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.011138 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         552.68 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.0229 |
|   72 |       4 | Accept |            2.841 |           0.24289 |           2.2082 |           2.2846 |          svm | BoxConstraint:    0.0068794 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         475.75 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.66904 |
|   73 |       2 | Accept |           4.1439 |            29.963 |           2.2082 |           2.2846 |          svm | BoxConstraint:       673.65 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         3.2547 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             1.3911 |
|   74 |       2 | Accept |           12.969 |            29.643 |           2.2082 |           2.2846 |          svm | BoxConstraint:       851.71 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         23.076 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.97056 |
|   75 |       2 | Accept |            3.037 |          0.068788 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.010616 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         951.18 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             3.1446 |
|   76 |       5 | Accept |           2.8903 |          0.072226 |           2.2082 |           2.2846 |          svm | BoxConstraint:     0.045569 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:          923.8 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.1758 |
|   77 |       5 | Accept |           4.1439 |          0.062494 |           2.2082 |           2.2846 |          svm | BoxConstraint:       522.62 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.04581 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.02037 |
|   78 |       2 | Accept |           4.1439 |           0.10417 |           2.2045 |           2.2846 |          svm | BoxConstraint:     0.085671 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0011363 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:            0.13518 |
|   79 |       2 | Best   |           2.2045 |            5.0964 |           2.2045 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:         0.035513 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             13 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   80 |       2 | Accept |           4.1439 |          0.071938 |           2.2045 |           2.2846 |          svm | BoxConstraint:        1.751 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.15632 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              1.413 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   81 |       2 | Accept |           4.1439 |          0.048361 |           2.2045 |           2.2846 |          svm | BoxConstraint:     0.001317 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.09765 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             2.7812 |
|   82 |       6 | Accept |           4.1439 |          0.059009 |           2.2045 |           2.2846 |          svm | BoxConstraint:       230.13 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         15.715 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             425.18 |
|   83 |       3 | Accept |           4.1439 |          0.071838 |           2.2045 |           2.2846 |          svm | BoxConstraint:       10.653 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:      0.0087342 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             25.431 |
|   84 |       3 | Accept |           2.3706 |             4.013 |           2.2045 |           2.2846 |     ensemble | Method:                 Bag |
|      |         |        |                  |                   |                  |                  |              | LearnRate:              NaN |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             11 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     2 |
|   85 |       3 | Accept |           4.1439 |          0.076126 |           2.2045 |           2.2846 |          svm | BoxConstraint:     0.023202 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         10.791 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             22.244 |
|   86 |       3 | Accept |           4.1439 |          0.087602 |           2.2045 |           2.2846 |          svm | BoxConstraint:       214.12 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         102.84 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             107.38 |
|   87 |       6 | Accept |           2.8921 |           0.25372 |           2.2045 |           2.2846 |          svm | BoxConstraint:    0.0058028 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         306.93 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              6.344 |
|   88 |       1 | Accept |           4.1439 |            31.385 |           2.2045 |           2.2846 |          svm | BoxConstraint:       5.1147 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         2.5073 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:          0.0095496 |
|   89 |       1 | Accept |           2.9511 |           0.16544 |           2.2045 |           2.2846 |          svm | BoxConstraint:    0.0045725 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         345.75 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             6.6158 |
|   90 |       1 | Accept |           4.1439 |          0.053551 |           2.2045 |           2.2846 |          svm | BoxConstraint:        1.252 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:        0.18118 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:             11.522 |
|===================================================================================================================================================|
| Iter | Active  | Eval   | log(1 + valLoss) | Time for training | Observed min     | Estimated min    | Learner      | Hyperparameter:       Value |
|      | workers | result |                  | & validation (sec)| log(1 + valLoss) | log(1 + valLoss) |              |                             |
|===================================================================================================================================================|
|   91 |       1 | Accept |           2.3908 |            4.0338 |           2.2045 |           2.2846 |     ensemble | Method:             LSBoost |
|      |         |        |                  |                   |                  |                  |              | LearnRate:           0.2966 |
|      |         |        |                  |                   |                  |                  |              | MinLeafSize:             78 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:   NaN |
|   92 |       1 | Accept |           2.5157 |          0.073868 |           2.2045 |           2.2846 |         tree | MinLeafSize:              7 |
|      |         |        |                  |                   |                  |                  |              | MaxNumSplits:            95 |
|      |         |        |                  |                   |                  |                  |              | NumVariablesToSample:     7 |
|   93 |       1 | Accept |           3.3193 |          0.084303 |           2.2045 |           2.2846 |          svm | BoxConstraint:    0.0094861 |
|      |         |        |                  |                   |                  |                  |              | KernelScale:         309.46 |
|      |         |        |                  |                   |                  |                  |              | Epsilon:              10.91 |

__________________________________________________________
Optimization completed.
Total iterations: 93
Total elapsed time: 216.3087 seconds
Total time for training and validation: 363.6476 seconds

Best observed learner is an ensemble model with:
	Method:             LSBoost
	LearnRate:         0.035513
	MinLeafSize:             13
	NumVariablesToSample:   NaN
Observed log(1 + valLoss): 2.2045
Time for training and validation: 5.0964 seconds

Best estimated learner (returned model) is an ensemble model with:
	Method:             LSBoost
	LearnRate:         0.033855
	MinLeafSize:              6
	NumVariablesToSample:   NaN
Estimated log(1 + valLoss): 2.2846
Estimated time for training and validation: 7.2769 seconds

Documentation for fitrauto display

Итоговая модель возвращена fitrauto соответствует лучшему предполагаемому ученику. Прежде, чем возвратить модель, функция переобучает его с помощью целых обучающих данных (carsTrain), перечисленный Learner (или модель) тип и отображенные гиперзначения параметров.

Создайте простую модель

Создайте простую модель linearMdl линейной регрессии при помощи fitlm функция.

linearMdl = fitlm(carsTrain);

Несмотря на то, что linearMdl объект не имеет тех же самых свойств и методов как autoMdl объект, можно использовать обе модели, чтобы предсказать значения отклика для новых данных при помощи predict объектная функция.

Сравните эффективность набора тестов моделей

Сравните эффективность linearMdl и autoMdl модели на тестовых данных установлены. Для каждой модели вычислите среднеквадратическую ошибку (MSE) набора тестов. Меньшие значения MSE указывают на лучшую эффективность.

ypred = predict(linearMdl,carsTest);
linearMSE = mean((carsTest.MPG-ypred).^2,'omitnan')
linearMSE = 11.0981
autoMSE = loss(autoMdl,carsTest,'MPG')
autoMSE = 8.6563

autoMdl модель, кажется, превосходит по характеристикам linearMdl модель.

Входные параметры

свернуть все

Выборочные данные в виде таблицы. Каждая строка Tbl соответствует одному наблюдению, и каждый столбец соответствует одному предиктору. Опционально, Tbl может содержать один дополнительный столбец для переменной отклика. Многостолбцовые переменные и массивы ячеек кроме массивов ячеек из символьных векторов не приняты.

Если Tbl содержит переменную отклика, и вы хотите использовать все остающиеся переменные в Tbl как предикторы, задайте переменную отклика с помощью ResponseVarName.

Если Tbl содержит переменную отклика, и вы хотите использовать только подмножество остающихся переменных в Tbl как предикторы, задайте формулу с помощью formula.

Если Tbl не содержит переменную отклика, задает переменную отклика с помощью Y. Длина переменной отклика и количество строк в Tbl должно быть равным.

Типы данных: table

Имя переменной отклика в виде имени переменной в Tbl. Переменная отклика должна быть числовым вектором.

Необходимо задать ResponseVarName как вектор символов или строковый скаляр. Например, если переменная отклика Y хранится как Tbl.Y, затем задайте его как 'Y'. В противном случае программное обеспечение обрабатывает все столбцы Tbl, включая Y, как предикторы, когда обучение модель.

Типы данных: char | string

Объяснительная модель переменной отклика и подмножество переменных предикторов в виде вектора символов или строкового скаляра в форме 'Y~X1+X2+X3'. В этой форме, Y представляет переменную отклика и X1x2 , и X3 представляйте переменные предикторы.

Задавать подмножество переменных в Tbl как предикторы для обучения модель, используйте формулу. Если вы задаете формулу, то программное обеспечение не использует переменных в Tbl это не появляется в formula.

Имена переменных в формуле должны быть оба именами переменных в Tbl (Tbl.Properties.VariableNames) и допустимые идентификаторы MATLAB®.

Можно проверить имена переменных в Tbl при помощи isvarname функция. Следующий код возвращает логический 1 TRUE) для каждой переменной, которая имеет допустимое имя переменной.

cellfun(@isvarname,Tbl.Properties.VariableNames)
Если имена переменных в Tbl не допустимы, затем преобразуют их при помощи matlab.lang.makeValidName функция.
Tbl.Properties.VariableNames = matlab.lang.makeValidName(Tbl.Properties.VariableNames);

Типы данных: char | string

Данные об ответе в виде числового вектора. Длина Y должно быть равно количеству строк в Tbl или X.

Чтобы задать имя переменной отклика, используйте ResponseName аргумент пары "имя-значение".

Типы данных: single | double

Данные о предикторе в виде числовой матрицы.

Каждая строка X соответствует одному наблюдению, и каждый столбец соответствует одному предиктору.

Длина Y и количество строк в X должно быть равным.

Задавать имена предикторов в порядке их внешнего вида в X, используйте PredictorNames аргумент пары "имя-значение".

Типы данных: single | double

Примечание

Программное обеспечение обрабатывает NaN, пустой символьный вектор (''), пустая строка (""), <missing>, и <undefined> элементы как недостающие данные. Программное обеспечение удаляет строки данных, соответствующих отсутствующим значениям в переменной отклика. Однако обработка отсутствующих значений в данных о предикторе X или Tbl варьируется среди моделей (или ученики).

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'HyperparameterOptimizationOptions',struct('MaxObjectiveEvaluations',200,'Verbose',2) задает, чтобы запустить 200 итераций процесса оптимизации (то есть, попробуйте 200 комбинаций гиперпараметра модели), и отобразить информацию в Командном окне о следующей комбинации гиперпараметра модели, которая будет оценена.
Опции оптимизатора

свернуть все

Типы моделей регрессии, чтобы попробовать во время оптимизации в виде разделенной запятой пары, состоящей из 'Learners' и значение в первой приведенной ниже таблице или одно или несколько имен ученика во второй таблице. Задайте несколько имен ученика как массив строк или массив ячеек.

ЗначениеОписание
'auto'fitrauto автоматически выбирает подмножество учеников, подходящих для данного предиктора и данных об ответе. У учеников могут быть гиперзначения параметров модели, которые отличаются от значения по умолчанию. Для получения дополнительной информации смотрите Автоматический Выбор Учеников.
'all'fitrauto выбирает всех возможных учеников.
'all-linear'fitrauto выбирает всех линейных учеников: 'linear' и 'svm' (с линейным ядром).
'all-nonlinear'fitrauto выбирает всех нелинейных учеников: 'ensemble', 'gp', 'kernel', 'svm' (с Гауссовым или полиномиальным ядром), и 'tree'.

Имя ученикаОписание
'ensemble'Модель регрессии ансамбля
'gp'Гауссова модель регрессии процесса
'kernel'Модель регрессии ядра
'linear'Модель линейной регрессии для высоко-размерных данных
'svm'Модель регрессии машины опорных векторов
'tree'Дерево регрессии выбора из двух альтернатив

Пример: 'Learners','all'

Пример: 'Learners','ensemble'

Пример: 'Learners',{'gp','svm'}

Гиперпараметры, чтобы оптимизировать в виде разделенной запятой пары, состоящей из 'OptimizeHyperparameters' и 'auto' или 'all'. optimizable гиперпараметры зависят от модели (или ученик), как описано в этой таблице.

Имя ученикаГиперпараметры для 'auto'Дополнительные гиперпараметры для 'all'Примечания
'ensemble'Method, NumLearningCycles, LearnRate, MinLeafSizeMaxNumSplits, NumVariablesToSample

Когда ансамбль Method значение является повышающим методом, ансамбль NumBins значением является 50.

Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters. Обратите внимание на то, что вы не можете изменить области значений поиска гиперпараметра, когда вы используете fitrauto.

'gp'SigmaBasisFunction, KernelFunction, KernelScale (KernelParameters), Standardize

fitrauto функция игнорирует все опции ядра ARD и, поэтому, выбирает среди KernelFunction значения 'exponential', 'matern32', 'matern52', 'rationalquadratic', и 'squaredexponential' когда OptimizeHyperparameters значением является 'all'.

Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters. Обратите внимание на то, что вы не можете изменить области значений поиска гиперпараметра, когда вы используете fitrauto.

'kernel'Epsilon, KernelScale, LambdaLearner, NumExpansionDimensionsДля получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters. Обратите внимание на то, что вы не можете изменить области значений поиска гиперпараметра, когда вы используете fitrauto.
'linear'Lambda, LearnerRegularizationДля получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters. Обратите внимание на то, что вы не можете изменить области значений поиска гиперпараметра, когда вы используете fitrauto.
'svm'BoxConstraint\epsilon, KernelScaleKernelFunction, PolynomialOrder, Standardize

  • Когда Learners значением является 'all-linear', fitrauto функция не оптимизирует KernelFunction или PolynomialOrder гиперпараметры, когда OptimizeHyperparameters значением является 'all'.

  • Когда Learners значением является 'all-nonlinear', fitrauto функция выбирает среди KernelFunction значения 'gaussian' и 'polynomial', независимо от OptimizeHyperparameters значение.

  • Standardize значением является true когда OptimizeHyperparameters значением является 'auto'.

Для получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters. Обратите внимание на то, что вы не можете изменить области значений поиска гиперпараметра, когда вы используете fitrauto.

'tree'MinLeafSizeMaxNumSplitsДля получения дополнительной информации, включая области значений поиска гиперпараметра, смотрите OptimizeHyperparameters. Обратите внимание на то, что вы не можете изменить области значений поиска гиперпараметра, когда вы используете fitrauto.

Примечание

Когда 'Learners' установлен в значение кроме 'auto', значения по умолчанию для гиперпараметров модели, не будучи оптимизированным соответствие подходящие значения функции по умолчанию, если в противном случае не обозначено в примечаниях к таблице. Когда 'Learners' установлен в 'auto', оптимизированные области значений поиска гиперпараметра и неоптимизированные гиперзначения параметров могут варьироваться, в зависимости от характеристик обучающих данных. Для получения дополнительной информации смотрите Автоматический Выбор Учеников.

Пример: 'OptimizeHyperparameters','all'

Опции для оптимизации в виде разделенной запятой пары, состоящей из 'HyperparameterOptimizationOptions' и структура. Все поля в структуре являются дополнительными.

Имя поляЗначенияЗначение по умолчанию
MaxObjectiveEvaluationsМаксимальное количество итераций (оценки целевой функции)30*L, где L количество учеников (см. Learners)
MaxTime

Ограничение по времени в виде положительного вещественного числа. Ограничение по времени находится в секундах, как измерено tic и toc. Время выполнения может превысить MaxTime потому что MaxTime не делает оценок функции обработки прерываний.

Inf
ShowPlotsЛогическое значение, указывающее, показать ли графики. Если true, это поле строит лучшие наблюдаемые и предполагаемые значения целевой функции (до сих пор) против номера итерации.true
SaveIntermediateResultsЛогическое значение, указывающее, сохранить ли результаты. Если true, это поле перезаписывает переменную рабочей области под названием 'BayesoptResults' в каждой итерации. Переменной является BayesianOptimization объект.false
Verbose

Отображение в командной строке:

  • 0 — Никакое итеративное отображение

  • 1 Итеративное отображение

  • 2 — Итеративное отображение с дополнительной информацией о следующем вопросе, который будет оценен

1
UseParallelЛогическое значение, указывающее, запустить ли Байесовую оптимизацию параллельно, которая требует Parallel Computing Toolbox™. Из-за невоспроизводимости синхронизации параллели, параллельная Байесова оптимизация не обязательно приводит к восстанавливаемым результатам.false
Repartition

Логическое значение, указывающее, повторно разделить ли перекрестную проверку в каждой итерации. Если false, оптимизатор использует один раздел для оптимизации.

true обычно дает большинство устойчивых результатов, потому что эта установка принимает шум разделения во внимание. Однако для хороших результатов, true требует, по крайней мере, вдвое большего количества вычислений функции.

false
Задайте только одну из следующих трех опций.
CVPartitioncvpartition объект, созданный cvpartition'Kfold',5 если вы не задаете поля перекрестной проверки
HoldoutСкаляр в области значений (0,1) представление части затяжки
KfoldЦелое число, больше, чем 1

Пример: 'HyperparameterOptimizationOptions',struct('UseParallel',true)

Опции регрессии

свернуть все

Категориальные предикторы перечисляют в виде разделенной запятой пары, состоящей из 'CategoricalPredictors' и одно из значений в этой таблице.

ЗначениеОписание
Вектор из положительных целых чиселКаждая запись в векторе является значением индекса, соответствующим столбцу данных о предикторе (X или Tbl) это содержит категориальную переменную.
Логический векторtrue запись означает что соответствующий столбец данных о предикторе (X или Tbl) категориальная переменная.
Символьная матрицаКаждая строка матрицы является именем переменного предиктора. Имена должны совпадать с записями в PredictorNames. Заполните имена дополнительными пробелами, таким образом, каждая строка символьной матрицы имеет ту же длину.
Массив строк или массив ячеек из символьных векторовКаждым элементом в массиве является имя переменного предиктора. Имена должны совпадать с записями в PredictorNames.
'all'Все предикторы являются категориальными.

По умолчанию, если данные о предикторе находятся в таблице (Tbl), fitrauto принимает, что переменная является категориальной, если это - логический вектор, категориальный вектор, символьный массив, массив строк или массив ячеек из символьных векторов. Однако ученики, которые используют деревья решений, принимают, что математически упорядоченные категориальные векторы являются непрерывными переменными. Если данные о предикторе являются матрицей (X), fitrauto принимает, что все предикторы непрерывны. Чтобы идентифицировать любые другие предикторы как категориальные предикторы, задайте их при помощи 'CategoricalPredictors' аргумент пары "имя-значение".

Для получения дополнительной информации о том, как подбор кривой функциям обрабатывает категориальные предикторы, видит Автоматическое Создание Фиктивных Переменных.

Пример: 'CategoricalPredictors','all'

Типы данных: single | double | logical | char | string | cell

Переменный предиктор называет в виде разделенной запятой пары, состоящей из 'PredictorNames' и массив строк уникальных имен или массив ячеек уникальных векторов символов. Функциональность 'PredictorNames' зависит от способа, которым вы снабжаете обучающими данными.

  • Если вы предоставляете X и Y, затем можно использовать 'PredictorNames' присваивать имена к переменным предикторам в X.

    • Порядок имен в PredictorNames должен соответствовать порядку следования столбцов X. Таким образом, PredictorNames{1} имя X(:,1), PredictorNames{2} имя X(:,2), и так далее. Кроме того, size(X,2) и numel(PredictorNames) должно быть равным.

    • По умолчанию, PredictorNames {'x1','x2',...}.

  • Если вы предоставляете Tbl, затем можно использовать 'PredictorNames' выбрать который переменные предикторы использовать в обучении. Таким образом, fitrauto использование только переменные предикторы в PredictorNames и переменная отклика во время обучения.

    • PredictorNames должно быть подмножество Tbl.Properties.VariableNames и не может включать имя переменной отклика.

    • По умолчанию, PredictorNames содержит имена всех переменных предикторов.

    • Хорошая практика должна задать предикторы для обучения с помощью любого 'PredictorNames' или formula, но не то и другое одновременно.

Пример: 'PredictorNames',{'SepalLength','SepalWidth','PetalLength','PetalWidth'}

Типы данных: string | cell

Имя переменной отклика в виде разделенной запятой пары, состоящей из 'ResponseName' и вектор символов или строковый скаляр.

  • Если вы предоставляете Y, затем можно использовать 'ResponseName' задавать имя для переменной отклика.

  • Если вы предоставляете ResponseVarName или formula, затем вы не можете использовать 'ResponseName'.

Пример: 'ResponseName','response'

Типы данных: char | string

Веса наблюдения в виде разделенной запятой пары, состоящей из 'Weights' и положительный числовой вектор или имя переменной в Tbl. Веса программного обеспечения каждое наблюдение в X или Tbl с соответствующим значением в Weights. Длина Weights должен равняться количеству строк в X или Tbl.

Если вы задаете входные данные как таблицу Tbl, затем Weights может быть имя переменной в Tbl это содержит числовой вектор. В этом случае необходимо задать Weights как вектор символов или строковый скаляр. Например, если вектор весов W хранится как Tbl.W, затем задайте его как 'W'. В противном случае программное обеспечение обрабатывает все столбцы Tbl, включая W, как предикторы или переменная отклика, когда обучение модель.

По умолчанию, Weights ones(n,1), где n количество наблюдений в X или Tbl.

Программное обеспечение нормирует Weights суммировать к 1.

Типы данных: single | double | char | string

Выходные аргументы

свернуть все

Обученная модель регрессии, возвращенная как один из объектов модели регрессии в этой таблице.

Имя ученикаВозвращенный объект модели
'ensemble'CompactRegressionEnsemble
'gp'CompactRegressionGP
'kernel'RegressionKernel
'linear'RegressionLinear
'svm'CompactRegressionSVM
'tree'CompactRegressionTree

Результаты оптимизации, возвращенные как BayesianOptimization объект. Для получения дополнительной информации о Байесовом процессе оптимизации смотрите Байесовую Оптимизацию.

Больше о

свернуть все

Многословное отображение

Когда вы устанавливаете Verbose поле HyperparameterOptimizationOptions аргумент пары "имя-значение" 1 или 2, fitrauto функция обеспечивает итеративное отображение результатов оптимизации.

Следующая таблица описывает столбцы в отображении и их записях.

ColumnName Описание
IterНомер итерации — можно установить предел к количеству итераций при помощи MaxObjectiveEvaluations поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение".
Active workersКоличество активных параллельных рабочих — Этот столбец появляется только, когда вы запускаете оптимизацию параллельно путем установки UseParallel поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение" true.
Eval result

Один из следующих результатов оценки:

  • Best — Ученик и гиперзначения параметров в этой итерации дают минимальную наблюдаемую потерю валидации, вычисленную до сих пор. Таким образом,   log(1 + valLoss) значение является самым маленьким, вычисленным до сих пор.

  • Accept — Ученик и гиперзначения параметров в этой итерации дают значимый (например, non-NaN) наблюдаемые и оцененные значения валидации потерь.

  • Error — Ученик и гиперзначения параметров в этой итерации приводят к ошибке (например,   log(1 + valLoss) значение NaN).

  log(1 + valLoss)Преобразованная в журнал потеря валидации вычисляется для ученика и значений гиперпараметра в этой итерации — В частности, fitrauto вычисляет журнал (1 + valLoss), где valLoss является среднеквадратической ошибкой (MSE) перекрестной проверки по умолчанию. Можно изменить схему валидации при помощи CVPartition, Holdout, или Kfold поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение".
Time for training & validation (sec)Время, потраченное, чтобы обучаться и вычислить потерю валидации для модели с учеником и гиперзначениями параметров в этой итерации (в секундах) — В частности, это значение исключает время, требуемое обновить модель целевой функции, обеспеченную Байесовым процессом оптимизации. Для получения дополнительной информации смотрите Байесовую Оптимизацию.
  Observed min log(1 + valLoss)

Наблюдаемый минимум преобразованная в журнал потеря валидации, вычисленная до сих пор — Это значение, соответствует самому маленькому   log(1 + valLoss) значение, вычисленное до сих пор в процессе оптимизации.

По умолчанию, fitrauto возвращает график оптимизации, которая отображает темно-синие точки для наблюдаемого минимума преобразованные в журнал значения валидации потерь. Этот график не появляется когда ShowPlots поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение" установлен в false.

  Estimated min log(1 + valLoss)

Предполагаемый минимум преобразованная в журнал потеря валидации — В каждой итерации, fitrauto обновляет модель целевой функции, обеспеченную Байесовым процессом оптимизации, и использует эту модель, чтобы оценить минимум преобразованная в журнал потеря валидации. Для получения дополнительной информации смотрите Байесовую Оптимизацию.

По умолчанию, fitrauto возвращает график оптимизации, которая отображает голубые точки для предполагаемого минимума преобразованные в журнал значения валидации потерь. Этот график не появляется когда ShowPlots поле 'HyperparameterOptimizationOptions' аргумент пары "имя-значение" установлен в false.

LearnerТип модели, оцененный в этой итерации — Задает учеников, используемых в оптимизации при помощи 'Learners' аргумент пары "имя-значение".
Hyperparameter: ValueГиперзначения параметров в этой итерации — Задают гиперпараметры, используемые в оптимизации при помощи 'OptimizeHyperparameters' аргумент пары "имя-значение".

Отображение также включает описание двух моделей:

  • Best observed learner — Эта модель, с перечисленным типом ученика и гиперзначениями параметров, уступает, финал наблюдал минимальную (преобразованную в журнал) потерю валидации.

  • Best estimated learner — Эта модель, с перечисленным типом ученика и гиперзначениями параметров, уступает, финал оценил минимальную (преобразованную в журнал) потерю валидации. fitrauto переобучает модель на целом обучающем наборе данных и возвращает его как Mdl вывод .

Советы

  • В зависимости от размера ваших данных и количества учеников вы задаете, fitrauto может занять время, чтобы запуститься. Если у вас есть лицензия Parallel Computing Toolbox, можно ускорить расчеты путем выполнения оптимизации параллельно. Для этого задайте 'HyperparameterOptimizationOptions',struct('UseParallel',true). Можно включать другие поля в структуру, чтобы управлять другими аспектами оптимизации. Смотрите HyperparameterOptimizationOptions.

Алгоритмы

свернуть все

Автоматический выбор учеников

Когда вы задаете 'Learners','auto', fitrauto функция анализирует предиктор и данные об ответе для того, чтобы выбрать соответствующих учеников. Функция рассматривает, имеет ли набор данных какую-либо из этих характеристик:

  • Категориальные предикторы

  • Отсутствующие значения больше чем для 5% данных

  • Широкие данные, где количество предикторов больше или равно количеству наблюдений

  • Высоко-размерные данные, где количество предикторов больше 100

  • Большие данные, где количество наблюдений больше 50,000

Выбранные ученики всегда являются подмножеством перечисленных в Learners таблица. Однако связанные модели, которые попробовали во время процесса оптимизации, могут иметь различные значения по умолчанию для гиперпараметров, не будучи оптимизированным, а также различных поисковых областей значений для оптимизируемых гиперпараметров.

Например, когда вы задаете Learners как 'auto', fitrauto функционируйте судит учеников SVM данным KernelFunction значение, на основе характеристик набора данных в этой таблице.

Категориальные предикторыОтсутствующие значенияШирокие данныеSVM KernelFunction Значение
ДаНетИли да или нет'polynomial'
НетНетДа'linear'
НетНетНет'gaussian'

Байесова оптимизация

Цель Байесовой оптимизации и оптимизации в целом, состоит в том, чтобы найти точку, которая минимизирует целевую функцию. В контексте fitrauto, точка является типом ученика вместе с набором гиперзначений параметров для ученика (см. Learners и OptimizeHyperparameters), и целевая функция является журналом (1 + valLoss), где valLoss является среднеквадратической ошибкой (MSE) перекрестной проверки по умолчанию. Байесова оптимизация, реализованная в fitrauto внутренне обеспечивает multi-RegressionGP модель целевой функции. Таким образом, разделения модели целевой функции вдоль типа ученика и, для данного ученика, модель является моделью Gaussian process regression (GPR). (Эта базовая модель отличается от одной модели GPR, используемой другими функциями Statistics and Machine Learning Toolbox™, которые используют Байесовую оптимизацию.) Байесова оптимизация обучает базовую модель при помощи оценок целевой функции и определяет следующий вопрос, чтобы оценить при помощи функции приобретения ('expected-improvement'). Для получения дополнительной информации смотрите Ожидаемое Улучшение. Функция приобретения балансируется между выборкой в точках с низкими смоделированными значениями целевой функции и исследованием областей, которые еще не хорошо моделируются. В конце оптимизации, fitrauto выбирает точку с минимальным значением модели целевой функции, среди точек, оцененных во время оптимизации. Для получения дополнительной информации смотрите 'Criterion','min-visited-mean' аргумент пары "имя-значение" bestPoint.

Альтернативная функциональность

  • Если вы не уверены, какие модели работают лучше всего на ваш набор данных, можно альтернативно использовать приложение Regression Learner. Используя приложение, можно выполнить гиперпараметр, настраивающийся для различных моделей, и выбрать оптимизированную модель, которая выполняет лучше всего. Несмотря на то, что необходимо выбрать определенную модель, прежде чем можно будет настроить гиперпараметры модели, Regression Learner обеспечивает большую гибкость для выбора optimizable гиперпараметров и установки гиперзначений параметров. Приложение также позволяет вам обучать множество моделей линейной регрессии (см. Модели Линейной регрессии). Однако вы не можете оптимизировать параллельно, выбрать 'linear' или 'kernel' ученики, или задают веса наблюдения в приложении. Для получения дополнительной информации смотрите Гипероптимизацию параметров управления в Приложении Regression Learner.

  • Если вы знаете, какие модели могут удовлетворить вашим данным, можно альтернативно использовать соответствующие подходящие функции модели и задать 'OptimizeHyperparameters' аргумент пары "имя-значение", чтобы настроить гиперпараметры. Можно сравнить результаты через модели, чтобы выбрать лучшую модель регрессии. Поскольку пример этого процесса применился к моделям классификации, смотрите, что Двигающий Выбор Модели Автоматизации Использует Байесовую Оптимизацию.

Расширенные возможности

Введенный в R2020b
Для просмотра документации необходимо авторизоваться на сайте