Сопоставление с образцом

Открыть скрипт

В этом примере показано, как использовать 2D нормированную взаимную корреляцию в сопоставлении с образцом и целевое отслеживание. Предопределенное использование в качестве примера или пользователь задало цель и количество подобных целей, которые будут прослежены. Нормированный график взаимной корреляции показывает, что, когда значение превышает порог набора, цель идентифицирована.

Введение

В этом примере вы используете нормированную взаимную корреляцию, чтобы отследить целевой шаблон в видео. Алгоритм сопоставления с образцом включает следующие шаги:

Входной видеокадр и шаблон уменьшаются в размере, чтобы минимизировать объем расчета, требуемого соответствующим алгоритмом.
Нормированная взаимная корреляция, в частотном диапазоне, используется, чтобы найти шаблон в видеокадре.
Местоположение шаблона определяется путем нахождения максимального значения взаимной корреляции.

Инициализируйте параметры и создайте шаблон

Инициализируйте необходимые переменные, такие как пороговое значение для взаимной корреляции и уровень разложения для Гауссова разложения Пирамиды.

threshold = single(0.99);
level = 2;

Подготовьте читателя видеофайла.

hVideoSrc = VideoReader('vipboard.mp4');

Задайте целевое изображение и количество подобных целей, которые будут прослежены. По умолчанию пример использует предопределенную цель и находит до 2 подобных шаблонов. Можно установить переменную useDefaultTarget на ложь задавать новую цель и количество подобных целей, чтобы соответствовать.

useDefaultTarget = true;
[Img, numberOfTargets, target_image] = ...
  videopattern_gettemplate(useDefaultTarget);

% Downsample the target image by a predefined factor. You do this
% to reduce the amount of computation needed by cross correlation.
target_image = single(target_image);
target_dim_nopyramid = size(target_image);
target_image_gp = multilevelPyramid(target_image, level);
target_energy = sqrt(sum(target_image_gp(:).^2));

% Rotate the target image by 180 degrees, and perform zero padding so that
% the dimensions of both the target and the input image are the same.
target_image_rot = imrotate(target_image_gp, 180);
[rt, ct] = size(target_image_rot);
Img = single(Img);
Img = multilevelPyramid(Img, level);
[ri, ci]= size(Img);
r_mod = 2^nextpow2(rt + ri);
c_mod = 2^nextpow2(ct + ci);
target_image_p = [target_image_rot zeros(rt, c_mod-ct)];
target_image_p = [target_image_p; zeros(r_mod-rt, c_mod)];

% Compute the 2-D FFT of the target image
target_fft = fft2(target_image_p);

% Initialize constant variables used in the processing loop.
target_size = repmat(target_dim_nopyramid, [numberOfTargets, 1]);
gain = 2^(level);
Im_p = zeros(r_mod, c_mod, 'single'); % Used for zero padding
C_ones = ones(rt, ct, 'single');      % Used to calculate mean using conv

Создайте Системный объект, чтобы вычислить локальное максимальное значение для нормированной взаимной корреляции.

hFindMax = vision.LocalMaximaFinder( ...
            'Threshold', single(-1), ...
            'MaximumNumLocalMaxima', numberOfTargets, ...
            'NeighborhoodSize', floor(size(target_image_gp)/2)*2 - 1);

Создайте Системный объект, чтобы отобразить отслеживание шаблона.

sz = get(0,'ScreenSize');
pos = [20 sz(4)-400 400 300];
hROIPattern = vision.VideoPlayer('Name', 'Overlay the ROI on the target', ...
    'Position', pos);

Инициализируйте окно рисунка для графического вывода нормированного значения взаимной корреляции

hPlot = videopatternplots('setup',numberOfTargets, threshold);

Ищите шаблон в видео

Создайте цикл обработки, чтобы выполнить сопоставление с образцом на входном видео. Этот цикл использует Системные объекты, которых вы инстанцировали выше. Цикл останавливается, когда вы достигаете конца входного файла, который обнаруживается VideoReader объект.

while hasFrame(hVideoSrc)
    Im = rgb2gray(im2single(readFrame(hVideoSrc)));

    % Reduce the image size to speed up processing
    Im_gp = multilevelPyramid(Im, level);

    % Frequency domain convolution.
    Im_p(1:ri, 1:ci) = Im_gp;    % Zero-pad
    img_fft = fft2(Im_p);
    corr_freq = img_fft .* target_fft;
    corrOutput_f = ifft2(corr_freq);
    corrOutput_f = corrOutput_f(rt:ri, ct:ci);

    % Calculate image energies and block run tiles that are size of
    % target template.
    IUT_energy = (Im_gp).^2;
    IUT = conv2(IUT_energy, C_ones, 'valid');
    IUT = sqrt(IUT);

    % Calculate normalized cross correlation.
    norm_Corr_f = (corrOutput_f) ./ (IUT * target_energy);
    xyLocation = step(hFindMax, norm_Corr_f);

    % Calculate linear indices.
    linear_index = sub2ind([ri-rt, ci-ct]+1, xyLocation(:,2),...
        xyLocation(:,1));

    norm_Corr_f_linear = norm_Corr_f(:);
    norm_Corr_value = norm_Corr_f_linear(linear_index);
    detect = (norm_Corr_value > threshold);
    target_roi = zeros(length(detect), 4);
    ul_corner = (gain.*(xyLocation(detect, :)-1))+1;
    target_roi(detect, :) = [ul_corner, fliplr(target_size(detect, :))];

    % Draw bounding box.
    Imf = insertShape(Im, 'Rectangle', target_roi, 'Color', 'green');
    % Plot normalized cross correlation.
    videopatternplots('update',hPlot,norm_Corr_value);
    step(hROIPattern, Imf);
end

snapnow

% Function to compute pyramid image at a particular level.
function outI = multilevelPyramid(inI, level)

I = inI;
outI = I;

for i=1:level
    outI = impyramid(I, 'reduce');
    I = outI;
end

end

Сводные данные

Этот пример показывает использование Computer Vision Toolbox™, чтобы найти определяемый пользователем шаблон в видео и отследить его. Алгоритм основан на нормированной взаимной корреляции частотного диапазона между целью и изображением под тестом. Окно видеоплеера отображает входное видео с идентифицированными целевыми местоположениями. Также фигура отображает нормированную корреляцию между целью и изображением, которое используется в качестве метрики, чтобы совпадать с целью. Как видно того каждый раз, когда значение корреляции превышает порог (обозначенный синей линией), цель идентифицирована во входном видео, и местоположение отмечено зеленой ограничительной рамкой.

Приложение

Следующие функции помощника используются в этом примере.

Документация