knnsearch принимает ExhaustiveSearcher или KDTreeSearcher объекты модели для поиска обучающих данных по ближайшим соседям с данными запроса. Один ExhaustiveSearcher модель вызывает исчерпывающий алгоритм поиска, и KDTreeSearcher модель определяет Kd-дерево, которое knnsearch используется для поиска ближайших соседей.

Загрузите набор данных радужки Фишера. Случайное резервирование пяти наблюдений из данных для данных запроса.

load fisheriris
rng(1); % For reproducibility
n = size(meas,1);
idx = randsample(n,5);
X = meas(~ismember(1:n,idx),:); % Training data
Y = meas(idx,:);                % Query data

Переменная meas содержит 4 предиктора.

Вырастите четырехмерное дерево Kd по умолчанию.

MdlKDT = KDTreeSearcher(X)

MdlKDT = 
  KDTreeSearcher with properties:

       BucketSize: 50
         Distance: 'euclidean'
    DistParameter: []
                X: [145x4 double]

MdlKDT является KDTreeSearcher объект модели. Его свойства, доступные для записи, можно изменить с помощью точечной нотации.

Подготовьте исчерпывающий поиск ближайшего соседа.

MdlES = ExhaustiveSearcher(X)

MdlES = 
  ExhaustiveSearcher with properties:

         Distance: 'euclidean'
    DistParameter: []
                X: [145x4 double]

MdlKDT является ExhaustiveSearcher объект модели. Он содержит параметры, такие как метрика расстояния, используемые для поиска ближайших соседей.

Кроме того, можно вырастить Kd-дерево или подготовить исчерпывающий поиск ближайшего соседа с помощью createns.

Выполните поиск обучающих данных по индексам ближайших соседей, которые соответствуют каждому наблюдению запроса. Выполните оба типа поиска, используя настройки по умолчанию. По умолчанию число соседних объектов для поиска за одно наблюдение запроса равно 1.

IdxKDT = knnsearch(MdlKDT,Y);
IdxES = knnsearch(MdlES,Y);
[IdxKDT IdxES]

ans = 5×2

    17    17
     6     6
     1     1
    89    89
   124   124

В этом случае результаты поиска одинаковы.

Вырастите Kd-дерево ближайшего соседнего объекта поиска с помощью createns функция. Передача объекта и данных запроса в knnsearch функция для поиска k-ближайших соседей.

Загрузите набор данных радужки Фишера.

load fisheriris

Удалить пять ирисов случайным образом из данных предиктора для использования в качестве набора запросов.

rng(1);                     % For reproducibility
n = size(meas,1);           % Sample size
qIdx = randsample(n,5);     % Indices of query data
tIdx = ~ismember(1:n,qIdx); % Indices of training data
Q = meas(qIdx,:);
X = meas(tIdx,:);

Вырастите четырехмерное Kd-дерево с помощью обучающих данных. Укажите расстояние Минковского для поиска ближайших соседей.

Mdl = createns(X,'Distance','minkowski')

Mdl = 
  KDTreeSearcher with properties:

       BucketSize: 50
         Distance: 'minkowski'
    DistParameter: 2
                X: [145x4 double]

Поскольку X имеет четыре столбца и метрика расстояния - Минковский, createns создает KDTreeSearcher по умолчанию - объект модели. Показатель расстояния Минковского - 2 по умолчанию.

Найдите индексы обучающих данных (Mdl.X), которые являются двумя ближайшими соседями каждой точки в данных запроса (Q).

IdxNN = knnsearch(Mdl,Q,'K',2)

IdxNN = 5×2

    17     4
     6     2
     1    12
    89    66
   124   100

Каждая строка IdxNN соответствует наблюдению данных запроса, а порядок столбцов соответствует порядку ближайших соседей относительно восходящего расстояния. Например, исходя из расстояния Минковского, второго ближайшего соседа Q(3,:) является X(12,:).

Загрузите набор данных радужки Фишера.

load fisheriris

Удалить пять ирисов случайным образом из данных предиктора для использования в качестве набора запросов.

rng(4);                     % For reproducibility
n = size(meas,1);           % Sample size
qIdx = randsample(n,5);     % Indices of query data
X = meas(~ismember(1:n,qIdx),:);
Y = meas(qIdx,:);

Вырастите четырехмерное Kd-дерево с помощью обучающих данных. Укажите расстояние Минковского для поиска ближайших соседей.

Mdl = KDTreeSearcher(X);

Mdl является KDTreeSearcher объект модели. По умолчанию метрикой расстояния для поиска ближайших соседей является евклидова метрика.

Найдите индексы обучающих данных (X), которые являются семью ближайшими соседями каждой точки в данных запроса (Y).

[Idx,D] = knnsearch(Mdl,Y,'K',7,'IncludeTies',true);

Idx и D представляют собой пятиэлементные клеточные массивы векторов, причем каждый вектор имеет по меньшей мере семь элементов.

Отображение длин векторов в Idx.

cellfun('length',Idx)

ans = 5×1

     8
     7
     7
     7
     7

Потому что ячейка 1 содержит вектор длиной более k = 7, наблюдение запроса 1 (Y(1,:)) одинаково близок по крайней мере к двум наблюдениям в X.

Отображение индексов ближайших соседей к Y(1,:) и их расстояния.

nn5 = Idx{1}

nn5 = 1×8

    91    98    67    69    71    93    88    95

nn5d = D{1}

nn5d = 1×8

    0.1414    0.2646    0.2828    0.3000    0.3464    0.3742    0.3873    0.3873

Учебные наблюдения 88 и 95 находятся на расстоянии 0,3873 см от наблюдения за запросом 1.

Поезд второй KDTreeSearcher модели, использующие различные метрики расстояния, и сравнить k-ближайших соседей данных запроса для двух моделей.

Загрузите набор данных радужки Фишера. Рассмотрим измерения лепестков как предикторы.

load fisheriris
X = meas(:,3:4); % Predictors
Y = species;     % Response

Тренировать а KDTreeSearcher объект модели с помощью предикторов. Задайте расстояние Минковского с показателем степени 5.

KDTreeMdl = KDTreeSearcher(X,'Distance','minkowski','P',5)

KDTreeMdl = 
  KDTreeSearcher with properties:

       BucketSize: 50
         Distance: 'minkowski'
    DistParameter: 5
                X: [150x2 double]

Найдите 10 ближайших соседей из X в точку запроса (newpoint), сначала используя метрики расстояния Минковского, а затем Чебычева. Точка запроса должна иметь тот же размер столбца, что и данные, используемые для обучения модели.

newpoint = [5 1.45];
[IdxMk,DMk] = knnsearch(KDTreeMdl,newpoint,'k',10);
[IdxCb,DCb] = knnsearch(KDTreeMdl,newpoint,'k',10,'Distance','chebychev');

IdxMk и IdxCb представляют собой матрицы 1 на 10, содержащие индексы строк X соответствующие ближайшим соседям newpoint используя минковские и чебычевские дистанции соответственно. Элемент (1,1) является ближайшим, элемент (1,2) является следующим ближайшим и так далее.

Постройте график учебных данных, точки запроса и ближайших соседей.

figure;
gscatter(X(:,1),X(:,2),Y);
title('Fisher''s Iris Data -- Nearest Neighbors');
xlabel('Petal length (cm)');
ylabel('Petal width (cm)');
hold on
plot(newpoint(1),newpoint(2),'kx','MarkerSize',10,'LineWidth',2);   % Query point 
plot(X(IdxMk,1),X(IdxMk,2),'o','Color',[.5 .5 .5],'MarkerSize',10); % Minkowski nearest neighbors
plot(X(IdxCb,1),X(IdxCb,2),'p','Color',[.5 .5 .5],'MarkerSize',10); % Chebychev nearest neighbors
legend('setosa','versicolor','virginica','query point',...
   'minkowski','chebychev','Location','Best');

Увеличьте изображение интересующих точек.

h = gca; % Get current axis handle.
h.XLim = [4.5 5.5];
h.YLim = [1 2];
axis square;

Несколько наблюдений равны, из-за чего на участке идентифицируются только восемь ближайших соседей.