Документация

Что такое локальные функции?

Локальные функции относятся к шаблону или отличной структуре, найденной в изображении, таком как точка, ребро или маленькая закрашенная фигура изображений. Они обычно сопоставляются с закрашенной фигурой изображений, которая отличается от ее мгновенной среды структурой, цветом или интенсивностью. То, что на самом деле представляет функция, не имеет значения, только что это отлично от своей среды. Примерами локальных функций являются блобы, углы и краевые пиксели.

I = imread('circuit.tif');
corners = detectFASTFeatures(I,'MinContrast',0.1);
J = insertMarker(I,corners,'circle');
imshow(J)

Преимущества и приложения локальных функций

Локальные функции позволяют вам найти соответствия изображений независимо от поглощения газов, изменений в просмотре условий или присутствия помехи. Кроме того, свойства локальных функций делают их подходящими для классификации изображений, такой как в Классификации Изображений с Мешком Визуальных Слов.

Локальные функции используются двумя основными способами:

Что делает хорошую локальную функцию?

Детекторы, которые полагаются основанный на градиенте и подходы изменения интенсивности, обнаруживают хорошие локальные функции. Эти функции включают ребра, блобы и области. Хорошие локальные функции показывают следующие свойства:

Выявление признаков и выделение признаков

Feature detection выбирает области изображения, которые имеют уникальное содержимое, такое как углы или блобы. Используйте выявление признаков, чтобы найти интересные места, что можно использовать для последующей обработки. Эти точки не обязательно соответствуют физическим структурам, таким как углы таблицы. Ключ к выявлению признаков должен найти функции, которые остаются локально инвариантными так, чтобы можно было обнаружить их даже в присутствии вращения или масштабировать изменение.

Feature extraction включает вычисление дескриптора, который обычно делается на областях, сосредоточенных вокруг обнаруженных функций. Дескрипторы полагаются на обработку изображений, чтобы преобразовать локальное пиксельное окружение в компактное векторное представление. Это новое представление разрешает сравнение между окружениями независимо от изменений по своим масштабам или ориентации. Дескрипторы, те, которые ОТСЕИВАЮТ или SURF, полагаются на локальные вычисления градиента. Бинарные дескрипторы, такие как BRISK, ORB или ПЯТНО, полагаются на пары локальных различий в интенсивности, которые затем закодированы в бинарный вектор.

Выберите анализатор и дескриптор

Выберите лучший анализатор и дескриптор путем рассмотрения критериев приложения и природы данных. Первая таблица помогает вам понять общие критерии, чтобы управлять вашим выбором. Следующие две таблицы предоставляют подробную информацию о детекторах и дескрипторах, доступных в Computer Vision Toolbox.

Используйте локальные функции

Регистрация двух изображений является простым способом понять локальные функции. Этот пример находит геометрическое преобразование между двумя изображениями. Это использует локальные функции, чтобы найти хорошо локализованные точки привязки.

original = imread('cameraman.tif');
figure;
imshow(original);

scale = 1.3;
J = imresize(original,scale);
theta = 31;
distorted = imrotate(J,theta);
figure
imshow(distorted)

ptsOriginal  = detectSURFFeatures(original);
ptsDistorted = detectSURFFeatures(distorted);

[featuresOriginal,validPtsOriginal] = ...
            extractFeatures(original,ptsOriginal);
[featuresDistorted,validPtsDistorted] = ...
            extractFeatures(distorted,ptsDistorted);

indexPairs = matchFeatures(featuresOriginal,featuresDistorted);

matchedOriginal  = validPtsOriginal(indexPairs(:,1));
matchedDistorted = validPtsDistorted(indexPairs(:,2));

figure
showMatchedFeatures(original,distorted,matchedOriginal,matchedDistorted)
title('Candidate matched points (including outliers)')

[tform, inlierDistorted,inlierOriginal] = ...
            estimateGeometricTransform(matchedDistorted,...
                matchedOriginal,'similarity');

figure
showMatchedFeatures(original,distorted,inlierOriginal,inlierDistorted)
title('Matching points (inliers only)')
legend('ptsOriginal','ptsDistorted')

outputView = imref2d(size(original));
recovered  = imwarp(distorted,tform,'OutputView',outputView);

figure
imshowpair(original,recovered,'montage')

Отобразите регистрацию, использующую несколько функций

Этот пример основывается на результатах "Использования Локальные Функции" пример. Используя больше чем один детектор и дескриптор пара позволяет вам объединить и укрепить свои результаты. Несколько пар также полезны для того, когда вы не можете получить достаточно хороших соответствий (inliers) использование одного анализатора.

Загрузите оригинальное изображение.

original = imread('cameraman.tif');
figure;
imshow(original);
text(size(original,2),size(original,1)+15, ...
    'Image courtesy of Massachusetts Institute of Technology', ...
    'FontSize',7,'HorizontalAlignment','right');

Масштабируйте и вращайте оригинальное изображение, чтобы создать искаженное изображение.

scale = 1.3;
J = imresize(original, scale);
 
theta = 31;
distorted = imrotate(J,theta);
figure
imshow(distorted)

Обнаружьте функции в обоих изображениях. Используйте детекторы BRISK сначала, сопровождаемый детекторами SURF.

ptsOriginalBRISK  = detectBRISKFeatures(original,'MinContrast',0.01);
ptsDistortedBRISK = detectBRISKFeatures(distorted,'MinContrast',0.01);

ptsOriginalSURF  = detectSURFFeatures(original);
ptsDistortedSURF = detectSURFFeatures(distorted);

Извлеките дескрипторы из оригинальных и искаженных изображений. Функции BRISK используют дескриптор ПЯТНА по умолчанию.

[featuresOriginalFREAK,validPtsOriginalBRISK]  = ...
        extractFeatures(original,ptsOriginalBRISK);
[featuresDistortedFREAK,validPtsDistortedBRISK] = ...
        extractFeatures(distorted,ptsDistortedBRISK);

[featuresOriginalSURF,validPtsOriginalSURF]  = ...
        extractFeatures(original,ptsOriginalSURF);
[featuresDistortedSURF,validPtsDistortedSURF] = ...
        extractFeatures(distorted,ptsDistortedSURF);

Определите соответствия кандидата путем соответствия с дескрипторами ПЯТНА сначала, и затем дескрипторами SURF. Чтобы получить как можно больше соответствий функции, запустите с детектора и соответствия с порогами, которые ниже, чем значения по умолчанию. Если вы получаете рабочее решение, можно постепенно увеличивать пороги, чтобы уменьшать вычислительную загрузку, требуемую извлекать и совпадать с функциями.

indexPairsBRISK = matchFeatures(featuresOriginalFREAK,...
            featuresDistortedFREAK,'MatchThreshold',40,'MaxRatio',0.8);

indexPairsSURF = matchFeatures(featuresOriginalSURF,featuresDistortedSURF);

Получите соответствующие точки кандидата для BRISK и SURF.

matchedOriginalBRISK  = validPtsOriginalBRISK(indexPairsBRISK(:,1));
matchedDistortedBRISK = validPtsDistortedBRISK(indexPairsBRISK(:,2));

matchedOriginalSURF  = validPtsOriginalSURF(indexPairsSURF(:,1));
matchedDistortedSURF = validPtsDistortedSURF(indexPairsSURF(:,2));

Визуализируйте BRISK предполагаемые соответствия.

figure
showMatchedFeatures(original,distorted,matchedOriginalBRISK,...
            matchedDistortedBRISK)
title('Putative matches using BRISK & FREAK')
legend('ptsOriginalBRISK','ptsDistortedBRISK')

Объединитесь кандидат совпадал с BRISK и SURF локальные функции. Используйте свойство Location объединить местоположения точки от функций SURF и BRISK.

matchedOriginalXY  = ...
    [matchedOriginalSURF.Location; matchedOriginalBRISK.Location];
matchedDistortedXY = ...
    [matchedDistortedSURF.Location; matchedDistortedBRISK.Location];

Определите точки inlier и геометрическое преобразование функций SURF и BRISK.

[tformTotal,inlierDistortedXY,inlierOriginalXY] = ...
    estimateGeometricTransform(matchedDistortedXY,...
        matchedOriginalXY,'similarity');

Отобразите результаты. Результат обеспечивает еще несколько соответствий, чем пример, который использовал один анализатор.

figure
showMatchedFeatures(original,distorted,inlierOriginalXY,inlierDistortedXY)
title('Matching points using SURF and BRISK (inliers only)')
legend('ptsOriginal','ptsDistorted')

Сравните исходное и восстановленное изображение.

outputView = imref2d(size(original));
recovered  = imwarp(distorted,tformTotal,'OutputView',outputView);
 
figure;
imshowpair(original,recovered,'montage')