Этот пример показывает, как использовать 2D нормированную взаимную корреляцию для сопоставления с образцом и целевое отслеживание. Предопределенное использование в качестве примера или пользователь задало цель и количество подобных целей, которые будут прослежены. Нормированный график взаимной корреляции показывает, что, когда значение превышает порог набора, цель идентифицирована.
В этом примере вы используете нормированную взаимную корреляцию, чтобы отследить целевой шаблон в видео. Алгоритм сопоставления с образцом включает следующие шаги:
Входной кадр видео и шаблон уменьшаются в размере, чтобы минимизировать объем вычисления, требуемого соответствующим алгоритмом.
Нормированная взаимная корреляция, в частотном диапазоне, используется, чтобы найти шаблон в кадре видео.
Местоположение шаблона определяется путем нахождения максимального значения взаимной корреляции.
Инициализируйте необходимые переменные, такие как пороговое значение для взаимной корреляции и уровень разложения для Гауссова разложения Пирамиды.
threshold = single(0.99); level = 2;
Подготовьте читателя видеофайла.
hVideoSrc = vision.VideoFileReader('vipboard.mp4', ... 'VideoOutputDataType', 'single',... 'ImageColorSpace', 'Intensity');
Задайте целевое изображение и количество подобных целей, которые будут прослежены. По умолчанию пример использует предопределенную цель и находит до 2 подобных шаблонов. Можно установить переменную useDefaultTarget на ложь задавать новую цель и количество подобных целей, чтобы соответствовать.
useDefaultTarget = true; [Img, numberOfTargets, target_image] = ... videopattern_gettemplate(useDefaultTarget); % Downsample the target image by a predefined factor. You do this % to reduce the amount of computation needed by cross correlation. target_image = single(target_image); target_dim_nopyramid = size(target_image); target_image_gp = multilevelPyramid(target_image, level); target_energy = sqrt(sum(target_image_gp(:).^2)); % Rotate the target image by 180 degrees, and perform zero padding so that % the dimensions of both the target and the input image are the same. target_image_rot = imrotate(target_image_gp, 180); [rt, ct] = size(target_image_rot); Img = single(Img); Img = multilevelPyramid(Img, level); [ri, ci]= size(Img); r_mod = 2^nextpow2(rt + ri); c_mod = 2^nextpow2(ct + ci); target_image_p = [target_image_rot zeros(rt, c_mod-ct)]; target_image_p = [target_image_p; zeros(r_mod-rt, c_mod)]; % Compute the 2-D FFT of the target image target_fft = fft2(target_image_p); % Initialize constant variables used in the processing loop. target_size = repmat(target_dim_nopyramid, [numberOfTargets, 1]); gain = 2^(level); Im_p = zeros(r_mod, c_mod, 'single'); % Used for zero padding C_ones = ones(rt, ct, 'single'); % Used to calculate mean using conv
Создайте Системный объект, чтобы вычислить локальное максимальное значение для нормированной взаимной корреляции.
hFindMax = vision.LocalMaximaFinder( ... 'Threshold', single(-1), ... 'MaximumNumLocalMaxima', numberOfTargets, ... 'NeighborhoodSize', floor(size(target_image_gp)/2)*2 - 1);
Создайте Системный объект, чтобы отобразить отслеживание шаблона.
sz = get(0,'ScreenSize'); pos = [20 sz(4)-400 400 300]; hROIPattern = vision.VideoPlayer('Name', 'Overlay the ROI on the target', ... 'Position', pos);
Инициализируйте окно рисунка для графического вывода нормированного значения взаимной корреляции
hPlot = videopatternplots('setup',numberOfTargets, threshold);
Создайте цикл обработки, чтобы выполнить сопоставление с образцом на входном видео. Этот цикл использует Системные объекты, которых вы инстанцировали выше. Цикл останавливается, когда вы достигаете конца входного файла, который обнаруживается Системным объектом VideoFileReader.
while ~isDone(hVideoSrc) Im = step(hVideoSrc); % Reduce the image size to speed up processing Im_gp = multilevelPyramid(Im, level); % Frequency domain convolution. Im_p(1:ri, 1:ci) = Im_gp; % Zero-pad img_fft = fft2(Im_p); corr_freq = img_fft .* target_fft; corrOutput_f = ifft2(corr_freq); corrOutput_f = corrOutput_f(rt:ri, ct:ci); % Calculate image energies and block run tiles that are size of % target template. IUT_energy = (Im_gp).^2; IUT = conv2(IUT_energy, C_ones, 'valid'); IUT = sqrt(IUT); % Calculate normalized cross correlation. norm_Corr_f = (corrOutput_f) ./ (IUT * target_energy); xyLocation = step(hFindMax, norm_Corr_f); % Calculate linear indices. linear_index = sub2ind([ri-rt, ci-ct]+1, xyLocation(:,2),... xyLocation(:,1)); norm_Corr_f_linear = norm_Corr_f(:); norm_Corr_value = norm_Corr_f_linear(linear_index); detect = (norm_Corr_value > threshold); target_roi = zeros(length(detect), 4); ul_corner = (gain.*(xyLocation(detect, :)-1))+1; target_roi(detect, :) = [ul_corner, fliplr(target_size(detect, :))]; % Draw bounding box. Imf = insertShape(Im, 'Rectangle', target_roi, 'Color', 'green'); % Plot normalized cross correlation. videopatternplots('update',hPlot,norm_Corr_value); step(hROIPattern, Imf); end snapnow release(hVideoSrc); % Function to compute pyramid image at a particular level. function outI = multilevelPyramid(inI, level) I = inI; outI = I; for i=1:level outI = impyramid(I, 'reduce'); I = outI; end end
Этот пример показывает использование Computer Vision Toolbox™, чтобы найти определяемый пользователем шаблон в видео и отследить его. Алгоритм основан на нормированной взаимной корреляции частотного диапазона между целью и изображением под тестом. Окно видеоплеера отображает входное видео с идентифицированными целевыми местоположениями. Также фигура отображает нормированную корреляцию между целью и изображением, которое используется в качестве метрики, чтобы совпадать с целью. Как видно того каждый раз, когда значение корреляции превышает порог (обозначенный синей строкой), цель идентифицирована во входном видео, и местоположение отмечено зеленой ограничительной рамкой.
Следующие функции помощника используются в этом примере.