Документация

Что такое локальные признаки?

Локальные признаки относятся к шаблону или отличной структуре, найденной в изображении, таком как точка, ребро или маленькая закрашенная фигура изображений. Они обычно сопоставляются с закрашенной фигурой изображений, которая отличается от ее мгновенной среды структурой, цветом или интенсивностью. То, что на самом деле представляет функция, не имеет значения, только что это отлично от своей среды. Примерами локальных признаков являются блобы, углы и краевые пиксели.

I = imread('circuit.tif');
corners = detectFASTFeatures(I,'MinContrast',0.1);
J = insertMarker(I,corners,'circle');
imshow(J)

Преимущества и приложения локальных признаков

Локальные признаки позволяют вам найти соответствия изображений независимо от поглощения газов, изменений в просмотре условий или присутствия помехи. Кроме того, свойства локальных признаков делают их подходящими для классификации изображений, такой как в Классификации Изображений с Мешком Визуальных Слов.

Локальные признаки используются двумя основными способами:

Что делает хороший локальный признак?

Детекторы, которые используют основанный на градиенте и подходы изменения интенсивности, обнаруживают хорошие локальные признаки. Эти функции включают ребра, блобы и области. Хорошие локальные признаки показывают следующие свойства:

Выявление признаков и извлечение признаков

Feature detection выбирает области изображения, которые имеют уникальное содержимое, такое как углы или блобы. Используйте выявление признаков, чтобы найти интересные места, что можно использовать для последующей обработки. Эти точки не обязательно соответствуют физическим структурам, таким как углы таблицы. Ключ к выявлению признаков должен найти функции, которые остаются локально инвариантными так, чтобы можно было обнаружить их даже в присутствии вращения или масштабировать изменение.

Feature extraction включает вычисление дескриптора, который обычно делается на областях, сосредоточенных вокруг обнаруженных признаков. Дескрипторы используют обработку изображений, чтобы преобразовать локальное пиксельное окружение в компактное векторное представление. Это новое представление разрешает сравнение между окружениями независимо от изменений по своим масштабам или ориентации. Дескрипторы, такие как SIFT или SURF, используют локальные расчеты градиента. Бинарные дескрипторы, такие как BRISK, ORB или FREAK, используют пары локальных различий в интенсивности, которые затем закодированы в бинарный вектор.

Выберите анализатор и дескриптор

Выберите лучший анализатор и дескриптор путем рассмотрения критериев приложения и природы данных. Первая таблица помогает вам изучить общие критерии, чтобы управлять вашим выбором. Следующие две таблицы предоставляют подробную информацию о детекторах и дескрипторах, доступных в Computer Vision Toolbox.

Используйте локальные признаки

Регистрация двух изображений является простым способом изучить локальные признаки. Этот пример находит геометрическое преобразование между двумя изображениями. Это использует локальные признаки, чтобы найти хорошо локализованные точки привязки.

original = imread('cameraman.tif');
figure;
imshow(original);

scale = 1.3;
J = imresize(original,scale);
theta = 31;
distorted = imrotate(J,theta);
figure
imshow(distorted)

ptsOriginal  = detectSURFFeatures(original);
ptsDistorted = detectSURFFeatures(distorted);

[featuresOriginal,validPtsOriginal] = ...
            extractFeatures(original,ptsOriginal);
[featuresDistorted,validPtsDistorted] = ...
            extractFeatures(distorted,ptsDistorted);

indexPairs = matchFeatures(featuresOriginal,featuresDistorted);

matchedOriginal  = validPtsOriginal(indexPairs(:,1));
matchedDistorted = validPtsDistorted(indexPairs(:,2));

figure
showMatchedFeatures(original,distorted,matchedOriginal,matchedDistorted)
title('Candidate matched points (including outliers)')

[tform, inlierIdx] = estimateGeometricTransform2D( ...
    matchedDistorted, matchedOriginal,'similarity');
inlierDistorted  = matchedDistorted(inlierIdx, :);
inlierOriginal   = matchedOriginal(inlierIdx, :);

figure
showMatchedFeatures(original,distorted,inlierOriginal,inlierDistorted)
title('Matching points (inliers only)')
legend('ptsOriginal','ptsDistorted')

outputView = imref2d(size(original));
recovered  = imwarp(distorted,tform,'OutputView',outputView);

figure
imshowpair(original,recovered,'montage')

Отобразите регистрацию, использующую несколько функций

Этот пример основывается на результатах "примера" Локальных признаков Использования. Используя больше чем один детектор и дескриптор пара позволяет вам объединить и укрепить свои результаты. Несколько пар также полезны для того, когда вы не можете получить достаточно хороших соответствий (inliers) использование одного анализатора.

Загрузите оригинальное изображение.

original = imread('cameraman.tif');
figure;
imshow(original);
text(size(original,2),size(original,1)+15, ...
    'Image courtesy of Massachusetts Institute of Technology', ...
    'FontSize',7,'HorizontalAlignment','right');

Масштабируйте и вращайте оригинальное изображение, чтобы создать искаженное изображение.

scale = 1.3;
J = imresize(original, scale);
 
theta = 31;
distorted = imrotate(J,theta);
figure
imshow(distorted)

Обнаружьте функции в обоих изображениях. Используйте детекторы BRISK сначала, сопровождаемый детекторами SURF.

ptsOriginalBRISK  = detectBRISKFeatures(original,'MinContrast',0.01);
ptsDistortedBRISK = detectBRISKFeatures(distorted,'MinContrast',0.01);

ptsOriginalSURF  = detectSURFFeatures(original);
ptsDistortedSURF = detectSURFFeatures(distorted);

Извлеките дескрипторы из оригинальных и искаженных изображений. Функции BRISK используют дескриптор FREAK по умолчанию.

[featuresOriginalFREAK,validPtsOriginalBRISK]  = ...
        extractFeatures(original,ptsOriginalBRISK);
[featuresDistortedFREAK,validPtsDistortedBRISK] = ...
        extractFeatures(distorted,ptsDistortedBRISK);

[featuresOriginalSURF,validPtsOriginalSURF]  = ...
        extractFeatures(original,ptsOriginalSURF);
[featuresDistortedSURF,validPtsDistortedSURF] = ...
        extractFeatures(distorted,ptsDistortedSURF);

Определите соответствия кандидата путем соответствия с дескрипторами FREAK сначала, и затем дескрипторами SURF. Чтобы получить как можно больше соответствий функции, начните с детектора и соответствия с порогами, которые ниже, чем значения по умолчанию. Если вы получаете рабочее решение, можно постепенно увеличивать пороги, чтобы уменьшать вычислительную загрузку, требуемую извлекать и совпадать с функциями.

indexPairsBRISK = matchFeatures(featuresOriginalFREAK,...
            featuresDistortedFREAK,'MatchThreshold',40,'MaxRatio',0.8);

indexPairsSURF = matchFeatures(featuresOriginalSURF,featuresDistortedSURF);

Получите соответствующие точки кандидата для BRISK и SURF.

matchedOriginalBRISK  = validPtsOriginalBRISK(indexPairsBRISK(:,1));
matchedDistortedBRISK = validPtsDistortedBRISK(indexPairsBRISK(:,2));

matchedOriginalSURF  = validPtsOriginalSURF(indexPairsSURF(:,1));
matchedDistortedSURF = validPtsDistortedSURF(indexPairsSURF(:,2));

Визуализируйте BRISK предполагаемые соответствия.

figure
showMatchedFeatures(original,distorted,matchedOriginalBRISK,...
            matchedDistortedBRISK)
title('Putative matches using BRISK & FREAK')
legend('ptsOriginalBRISK','ptsDistortedBRISK')

Объединитесь кандидат совпадал с BRISK и локальными признаками SURF. Используйте Location свойство объединить местоположения точки от BRISK и функций SURF.

matchedOriginalXY  = ...
    [matchedOriginalSURF.Location; matchedOriginalBRISK.Location];
matchedDistortedXY = ...
    [matchedDistortedSURF.Location; matchedDistortedBRISK.Location];

Определите точки inlier и геометрическое преобразование функций SURF и BRISK.

[tformTotal,inlierIdx] = ...
    estimateGeometricTransform2D(matchedDistortedXY,...
        matchedOriginalXY,'similarity');
inlierDistortedXY = matchedDistortedXY(inlierIdx, :);
inlierOriginalXY  = matchedOriginalXY(inlierIdx, :);

Отобразите результаты. Результат обеспечивает еще несколько соответствий, чем пример, который использовал один анализатор.

figure
showMatchedFeatures(original,distorted,inlierOriginalXY,inlierDistortedXY)
title('Matching points using SURF and BRISK (inliers only)')
legend('ptsOriginal','ptsDistorted')

Сравните исходное и восстановленное изображение.

outputView = imref2d(size(original));
recovered  = imwarp(distorted,tformTotal,'OutputView',outputView);
 
figure;
imshowpair(original,recovered,'montage')