В этом примере показано, как получить лучшую точку оптимизированного классификатора.

Оптимизируйте классификатор KNN для ionosphere данные, значение находит параметры, которые минимизируют потерю перекрестной проверки. Минимизируйте свыше размеров самого близкого окружения от 1 до 30, и по функциям расстояния 'chebychev', 'euclidean', и 'minkowski'.

Для воспроизводимости установите случайный seed и установите AcquisitionFunctionName опция к 'expected-improvement-plus'.

load ionosphere
rng(11)
num = optimizableVariable('n',[1,30],'Type','integer');
dst = optimizableVariable('dst',{'chebychev','euclidean','minkowski'},'Type','categorical');
c = cvpartition(351,'Kfold',5);
fun = @(x)kfoldLoss(fitcknn(X,Y,'CVPartition',c,'NumNeighbors',x.n,...
    'Distance',char(x.dst),'NSMethod','exhaustive'));
results = bayesopt(fun,[num,dst],'Verbose',0,...
    'AcquisitionFunctionName','expected-improvement-plus');

Получите лучшую точку согласно 'min-visited-upper-confidence-interval' по умолчанию критерий.

x = bestPoint(results)

x=1×2 table
    n       dst   
    _    _________

    1    chebychev

Самая низкая предполагаемая потеря перекрестной проверки происходит для одного самого близкого соседа и 'chebychev' расстояние.

Тщательное изучение графика модели целевой функции показывает точку с двумя самыми близкими соседями и 'chebychev' расстояние, которое имеет более низкое значение целевой функции. Найдите эту точку с помощью различного критерия.

x = bestPoint(results,'Criterion','min-observed')

x=1×2 table
    n       dst   
    _    _________

    2    chebychev

Также найдите минимальное наблюдаемое значение целевой функции и номер итерации, в котором оно наблюдалось.

[x,CriterionValue,iteration] = bestPoint(results,'Criterion','min-observed')

x=1×2 table
    n       dst   
    _    _________

    2    chebychev

CriterionValue = 0.1054

iteration = 21