Документация

Что такое локальные признаки?

Локальные признаки относятся к шаблону или отдельной структуре, найденной в изображении, таком как точка, ребро или небольшая закрашенная фигура изображения. Они обычно связаны с закрашенной фигурой для изображений, который отличается от его непосредственного окружения текстурой, цветом или интенсивностью. То, что на самом деле представляет функция, не имеет значения, только то, что она отличается от окружения. Примерами локальных функций являются пятна, углы и краевые пиксели.

I = imread('circuit.tif');
corners = detectFASTFeatures(I,'MinContrast',0.1);
J = insertMarker(I,corners,'circle');
imshow(J)

Преимущества и приложения Локальных признаков

Локальные признаки позволяют вам найти соответствия изображений независимо от окклюзии, изменений условий просмотра или наличия загромождения. В сложение свойства локальных признаков делают их подходящими для классификации изображений, например, в Image Classification with Bag of Visual Words.

Локальные признаки используются двумя основными способами:

Что делает хороший локальный признак?

Детекторы, которые полагаются на основанные на градиентах и подходы к изменению интенсивности, обнаруживают хорошие локальные признаки. Эти функции включают ребра, пятна и области. Хорошие локальные признаки проявляют следующие свойства:

Обнаружение функций и редукция данных

Feature detection выбирает области изображения, которые имеют уникальное содержимое, такие как углы или blobs. Используйте обнаружение функций, чтобы найти интересующие вас точки, которые можно использовать для дальнейшей обработки. Эти точки не обязательно соответствуют физическим структурам, таким как углы таблицы. Ключом к обнаружению признаков является поиск функций, которые остаются локально инвариантными, чтобы можно было обнаружить их даже в присутствии вращения или изменения шкалы.

Feature extraction включает в себя вычисление дескриптора, что обычно делается на областях с центром вокруг обнаруженных признаков. Дескрипторы полагаются на обработку изображения, чтобы преобразовать локальную окрестность пикселя в компактное векторное представление. Это новое представление позволяет сравнивать окрестности независимо от изменений шкалы или ориентации. Дескрипторы, такие как SIFT или SURF, полагаются на локальные расчеты. Двоичные дескрипторы, такие как BRISK, ORB или FREAK, полагаются на пары локальных различий интенсивности, которые затем кодируются в двоичный вектор.

Выбор детектора функций и дескриптора

Выберите лучший детектор функций и дескриптор с учетом критериев вашего приложения и характера ваших данных. Первая таблица помогает вам понять общие критерии для управления выбором. В следующих двух таблицах приведены подробные сведения о детекторах и дескрипторах, доступных в Computer Vision Toolbox.

Использование локальных признаков

Регистрация двух изображений является простым способом понять локальные признаки. Этот пример находит геометрическое преобразование между двумя изображениями. Он использует локальные признаки для поиска хорошо локализованных якорных точек.

original = imread('cameraman.tif');
figure;
imshow(original);

scale = 1.3;
J = imresize(original,scale);
theta = 31;
distorted = imrotate(J,theta);
figure
imshow(distorted)

ptsOriginal  = detectSURFFeatures(original);
ptsDistorted = detectSURFFeatures(distorted);

[featuresOriginal,validPtsOriginal] = ...
            extractFeatures(original,ptsOriginal);
[featuresDistorted,validPtsDistorted] = ...
            extractFeatures(distorted,ptsDistorted);

indexPairs = matchFeatures(featuresOriginal,featuresDistorted);

matchedOriginal  = validPtsOriginal(indexPairs(:,1));
matchedDistorted = validPtsDistorted(indexPairs(:,2));

figure
showMatchedFeatures(original,distorted,matchedOriginal,matchedDistorted)
title('Candidate matched points (including outliers)')

[tform, inlierIdx] = estimateGeometricTransform2D( ...
    matchedDistorted, matchedOriginal,'similarity');
inlierDistorted  = matchedDistorted(inlierIdx, :);
inlierOriginal   = matchedOriginal(inlierIdx, :);

figure
showMatchedFeatures(original,distorted,inlierOriginal,inlierDistorted)
title('Matching points (inliers only)')
legend('ptsOriginal','ptsDistorted')

outputView = imref2d(size(original));
recovered  = imwarp(distorted,tform,'OutputView',outputView);

figure
imshowpair(original,recovered,'montage')

Регистрация изображений с использованием нескольких функций

Этот пример основан на результатах примера «Использование локальных признаков». Использование более чем одной пары детекторов и дескрипторов позволяет вам объединить и укрепить свои результаты. Несколько пар также полезны для, когда вы не можете получить достаточно хороших соответствий (inliers) с помощью одного детектора функций.

Загрузите оригинальное изображение.

original = imread('cameraman.tif');
figure;
imshow(original);
text(size(original,2),size(original,1)+15, ...
    'Image courtesy of Massachusetts Institute of Technology', ...
    'FontSize',7,'HorizontalAlignment','right');

Масштабируйте и вращайте оригинальное изображение, чтобы создать искаженное изображение.

scale = 1.3;
J = imresize(original, scale);
 
theta = 31;
distorted = imrotate(J,theta);
figure
imshow(distorted)

Обнаружение функций на обоих изображениях. Сначала используйте детекторы BRISK, затем SURF.

ptsOriginalBRISK  = detectBRISKFeatures(original,'MinContrast',0.01);
ptsDistortedBRISK = detectBRISKFeatures(distorted,'MinContrast',0.01);

ptsOriginalSURF  = detectSURFFeatures(original);
ptsDistortedSURF = detectSURFFeatures(distorted);

Извлеките дескрипторы из исходных и искаженных изображений. Функции BRISK по умолчанию используют дескриптор FREAK.

[featuresOriginalFREAK,validPtsOriginalBRISK]  = ...
        extractFeatures(original,ptsOriginalBRISK);
[featuresDistortedFREAK,validPtsDistortedBRISK] = ...
        extractFeatures(distorted,ptsDistortedBRISK);

[featuresOriginalSURF,validPtsOriginalSURF]  = ...
        extractFeatures(original,ptsOriginalSURF);
[featuresDistortedSURF,validPtsDistortedSURF] = ...
        extractFeatures(distorted,ptsDistortedSURF);

Определите соответствие кандидатов, сначала сопоставив дескрипторы FREAK, а затем SURF. Чтобы получить как можно больше совпадений функций, начните с детектора и совпадающих порогов, которые ниже значений по умолчанию. Как только вы получите рабочее решение, можно постепенно увеличить пороги, чтобы уменьшить вычислительную нагрузку, необходимую для извлечения и соответствия функциям.

indexPairsBRISK = matchFeatures(featuresOriginalFREAK,...
            featuresDistortedFREAK,'MatchThreshold',40,'MaxRatio',0.8);

indexPairsSURF = matchFeatures(featuresOriginalSURF,featuresDistortedSURF);

Получите совпадающие точки кандидата для BRISK и SURF.

matchedOriginalBRISK  = validPtsOriginalBRISK(indexPairsBRISK(:,1));
matchedDistortedBRISK = validPtsDistortedBRISK(indexPairsBRISK(:,2));

matchedOriginalSURF  = validPtsOriginalSURF(indexPairsSURF(:,1));
matchedDistortedSURF = validPtsDistortedSURF(indexPairsSURF(:,2));

Визуализация предполагаемых матчей БРИСК.

figure
showMatchedFeatures(original,distorted,matchedOriginalBRISK,...
            matchedDistortedBRISK)
title('Putative matches using BRISK & FREAK')
legend('ptsOriginalBRISK','ptsDistortedBRISK')

Объедините подходящие локальные признаки BRISK и SURF. Используйте Location свойство для объединения местоположений точек из функций BRISK и SURF.

matchedOriginalXY  = ...
    [matchedOriginalSURF.Location; matchedOriginalBRISK.Location];
matchedDistortedXY = ...
    [matchedDistortedSURF.Location; matchedDistortedBRISK.Location];

Определите точки inlier и геометрическое преобразование функций BRISK и SURF.

[tformTotal,inlierIdx] = ...
    estimateGeometricTransform2D(matchedDistortedXY,...
        matchedOriginalXY,'similarity');
inlierDistortedXY = matchedDistortedXY(inlierIdx, :);
inlierOriginalXY  = matchedOriginalXY(inlierIdx, :);

Отображение результатов. Результат обеспечивает несколько больше соответствий, чем в примере, который использовал один детектор функций.

figure
showMatchedFeatures(original,distorted,inlierOriginalXY,inlierDistortedXY)
title('Matching points using SURF and BRISK (inliers only)')
legend('ptsOriginal','ptsDistorted')

Сравните оригинальное и восстановленное изображение.

outputView = imref2d(size(original));
recovered  = imwarp(distorted,tformTotal,'OutputView',outputView);
 
figure;
imshowpair(original,recovered,'montage')