knnsearch принимает, что ExhaustiveSearcher или объекты модели KDTreeSearcher ищут данные тренировки самых близких соседей данных о запросе. Модель ExhaustiveSearcher вызывает исчерпывающий алгоритм искателя, и модель KDTreeSearcher задает Kd-дерево, который использование knnsearch искать самых близких соседей.

Загрузите ирисовый набор данных Фишера. Случайным образом зарезервируйте пять наблюдений от данных для данных о запросе.

load fisheriris
rng(1); % For reproducibility
n = size(meas,1);
idx = randsample(n,5);
X = meas(~ismember(1:n,idx),:); % Training data
Y = meas(idx,:);                % Query data

Переменная meas содержит 4 предиктора.

Вырастите четырехмерное Kd-дерево по умолчанию.

MdlKDT = KDTreeSearcher(X)

MdlKDT = 
  KDTreeSearcher with properties:

       BucketSize: 50
         Distance: 'euclidean'
    DistParameter: []
                X: [145x4 double]

MdlKDT является объектом модели KDTreeSearcher. Можно изменить его перезаписываемые свойства с помощью записи через точку.

Подготовьте исчерпывающего самого близкого соседнего искателя.

MdlES = ExhaustiveSearcher(X)

MdlES = 
  ExhaustiveSearcher with properties:

         Distance: 'euclidean'
    DistParameter: []
                X: [145x4 double]

MdlKDT является объектом модели ExhaustiveSearcher. Это содержит опции, такие как метрика расстояния, чтобы использовать, чтобы найти самых близких соседей.

Также можно вырастить Kd-дерево или подготовить исчерпывающего самого близкого соседнего искателя, использующего createns.

Ищите данные тренировки самые близкие соседние индексы, которые соответствуют каждому наблюдению запроса. Проведите оба типа поисковых запросов с помощью настроек по умолчанию. По умолчанию количеством соседей, чтобы искать на наблюдение запроса является 1.

IdxKDT = knnsearch(MdlKDT,Y);
IdxES = knnsearch(MdlES,Y);
[IdxKDT IdxES]

ans = 5×2

    17    17
     6     6
     1     1
    89    89
   124   124

В этом случае результатами поиска является то же самое.

Вырастите Kd-дерево самый близкий соседний объект искателя при помощи функции createns. Передайте объект и запросите данные к функции knnsearch, чтобы найти соседей k-nearest.

Загрузите ирисовый набор данных Фишера.

load fisheriris

Удалите пять ирисовых диафрагм случайным образом из данных о предикторе, чтобы использовать в качестве набора запроса.

rng(1);                     % For reproducibility
n = size(meas,1);           % Sample size
qIdx = randsample(n,5);     % Indices of query data
tIdx = ~ismember(1:n,qIdx); % Indices of training data
Q = meas(qIdx,:);
X = meas(tIdx,:);

Вырастите четырехмерное Kd-дерево с помощью данных тренировки. Задайте расстояние Минковскего для нахождения самых близких соседей.

Mdl = createns(X,'Distance','minkowski')

Mdl = 
  KDTreeSearcher with properties:

       BucketSize: 50
         Distance: 'minkowski'
    DistParameter: 2
                X: [145x4 double]

Поскольку X имеет четыре столбца, и метрикой расстояния является Минковский, createns создает объект модели KDTreeSearcher по умолчанию. Экспонентой расстояния Минковскего является 2 по умолчанию.

Найдите индексы данных тренировки (Mdl.X), которые являются двумя самыми близкими соседями каждой точки в данных о запросе (Q).

IdxNN = knnsearch(Mdl,Q,'K',2)

IdxNN = 5×2

    17     4
     6     2
     1    12
    89    66
   124   100

Каждая строка IdxNN соответствует наблюдению данных о запросе, и порядок следования столбцов соответствует порядку самых близких соседей относительно возрастающего расстояния. Например, на основе расстояния Минковскего, вторым самым близким соседом Q(3,:) является X(12,:).

Загрузите ирисовый набор данных Фишера.

load fisheriris

Удалите пять ирисовых диафрагм случайным образом из данных о предикторе, чтобы использовать в качестве набора запроса.

rng(4);                     % For reproducibility
n = size(meas,1);           % Sample size
qIdx = randsample(n,5);     % Indices of query data
X = meas(~ismember(1:n,qIdx),:);
Y = meas(qIdx,:);

Вырастите четырехмерное Kd-дерево с помощью данных тренировки. Задайте расстояние Минковскего для нахождения самых близких соседей.

Mdl = KDTreeSearcher(X);

Mdl является объектом модели KDTreeSearcher. По умолчанию метрика расстояния для нахождения самых близких соседей является Евклидовой метрикой.

Найдите индексы данных тренировки (X), которые являются семью самыми близкими соседями каждой точки в данных о запросе (Y).

[Idx,D] = knnsearch(Mdl,Y,'K',7,'IncludeTies',true);

Idx и D являются массивами ячеек с пятью элементами векторов с каждым вектором, имеющим по крайней мере семь элементов.

Отобразите длины векторов в Idx.

cellfun('length',Idx)

ans = 5×1

     8
     7
     7
     7
     7

Поскольку ячейка 1 содержит вектор с длиной, больше, чем k = 7, наблюдение запроса 1 (Y(1,:)) одинаково близко к по крайней мере двум наблюдениям в X.

Отобразите индексы самых близких соседей Y(1,:) и их расстояний.

nn5 = Idx{1}

nn5 = 1×8

    91    98    67    69    71    93    88    95

nn5d = D{1}

nn5d = 1×8

    0.1414    0.2646    0.2828    0.3000    0.3464    0.3742    0.3873    0.3873

Учебные наблюдения 88 и 95 на расстоянии в 0,3873 см от наблюдения запроса 1.

Обучите две модели KDTreeSearcher с помощью различных метрик расстояния и сравните k-nearest соседей данных о запросе для этих двух моделей.

Загрузите ирисовый набор данных Фишера. Рассмотрите лепестковые измерения как предикторы.

load fisheriris
X = meas(:,3:4); % Predictors
Y = species;     % Response

Обучите объект модели KDTreeSearcher при помощи предикторов. Задайте расстояние Минковскего с экспонентой 5.

KDTreeMdl = KDTreeSearcher(X,'Distance','minkowski','P',5)

KDTreeMdl = 
  KDTreeSearcher with properties:

       BucketSize: 50
         Distance: 'minkowski'
    DistParameter: 5
                X: [150x2 double]

Найдите 10 самых близких соседей от X до точки запроса (newpoint), сначала с помощью Минковскего затем метрики расстояния Чебычева. Точка запроса должна иметь ту же размерность столбца, как данные раньше обучали модель.

newpoint = [5 1.45];
[IdxMk,DMk] = knnsearch(KDTreeMdl,newpoint,'k',10);
[IdxCb,DCb] = knnsearch(KDTreeMdl,newpoint,'k',10,'Distance','chebychev');

IdxMk и IdxCb являются 1 10 матрицами, содержащими индексы строки X, соответствующего самым близким соседям newpoint с помощью расстояний Минковскего и Чебычева, соответственно. Элемент (1,1) является самым близким, элемент (1,2) является следующим самым близким и так далее.

Отобразите на графике данные тренировки, точку запроса и самых близких соседей.

figure;
gscatter(X(:,1),X(:,2),Y);
title('Fisher''s Iris Data -- Nearest Neighbors');
xlabel('Petal length (cm)');
ylabel('Petal width (cm)');
hold on
plot(newpoint(1),newpoint(2),'kx','MarkerSize',10,'LineWidth',2);   % Query point 
plot(X(IdxMk,1),X(IdxMk,2),'o','Color',[.5 .5 .5],'MarkerSize',10); % Minkowski nearest neighbors
plot(X(IdxCb,1),X(IdxCb,2),'p','Color',[.5 .5 .5],'MarkerSize',10); % Chebychev nearest neighbors
legend('setosa','versicolor','virginica','query point',...
   'minkowski','chebychev','Location','Best');

Увеличьте масштаб интересных мест.

h = gca; % Get current axis handle.
h.XLim = [4.5 5.5];
h.YLim = [1 2];
axis square;

Несколько наблюдений равны, который является, почему только восемь самых близких соседей идентифицированы в графике.