Лазерное отслеживание

Открыть скрипт

В этом примере показано, как отследить движущуюся лазерную точку.

Используя Image Acquisition Toolbox™, потоки данных изображения от камеры получены непосредственно в MATLAB®. Эти изображения используются к отслеживаемым объектам в представлении камеры. В данном примере прослеживаемый объект является точкой, произведенной лазерным указателем.

Монитор компьютера, рабочий MATLAB помещается в представление камеры, в то время как лазерный указатель сияет красная точка на графическом окне MATLAB. Камера используется, чтобы получить изображения графического окна MATLAB, в то время как лазерный указатель перемещается. Путем отслеживания перемещения лазерной точки лазерный указатель может использоваться в качестве указывающего устройства, похожего на мышь.

Первая задача включает калибровку данных, чтобы установить отношение между полученными пикселями изображения и осями фигуры MATLAB. Если это отношение устанавливается, лазерная точка может быть прослежена, когда это перемещается в графическом окне MATLAB.

Этот пример использует набор служебных функций, которые помогают в обработке изображений. Эти служебные функции требуют Image Processing Toolbox™ и могут быть найдены в следующей директории:

  • MATLABROOT\examples\imaq\main

Физический Setup

Фокусируйте камеру на экран компьютера, на котором работает MATLAB.

Лучше иметь рассеянный свет в минимизированной комнате. Этот пример был успешно запущен в аудиториях с помощью проектора.

Сконфигурируйте захват

Устройство получения изображений будет использоваться, чтобы передавать изображения, чтобы выполнить калибровку и лазерное отслеживание. Используемое устройство будет типовым видео Windows® WebCam. 


% Access and configure a device.
vid = videoinput('winvideo', 1, 'RGB24_320x240');
vid.FramesPerTrigger = 1;
vid.TriggerRepeat = Inf;
triggerconfig(vid,'manual')

Создайте калибровочный экран

Калибровочный созданный экран намеренно собирается в черный цвет получить лучший контраст для лазерного указателя. Некоторые системы работают лучше, когда цвета окна выбраны темные для строк заголовка.

Поскольку красный лазер будет использоваться, красная плоскость изображения является единственной цветной плоскостью интереса. Калибровочный квадрат сделан синим для того, чтобы заставить его казаться "невидимым" в красной плоскости. 

% Create the laser figure window.
laserFig = figure;
hBox = plot([0 0 1 1 0], [0 1 1 0 0], 'b-');
hold on

% Set up calibration screen. Modify the cursor so it does not
% interfere with the calibration.
hTarget = plot(0, 0, 'yo');
ax = gca;
ax.Color = [0, 0, 0];
laserFig.Color = [0, 0, 0];
laserFig.Menubar = 'none';
laserFig.DoubleBuffer = 'on';
laserFig.Pointer = 'custom';
laserFig.PointerShapeCData = NaN(16, 16);

Позиционируйте камеру

Позиционируйте камеру, таким образом, что только синий квадрат отображается.

% Display positioning information.
posText = sprintf('%s\n%s', ...
    'Position the camera and ensure the blue box', ...
    'is the only thing in the camera''s view.');
infoText = text(0, -0.2,  posText, 'Color', [1 1 1]);
axis([-0.2 1.2 -0.2 1.2])
axis equal


% Using the preview window, request that the camera be positioned such
% that the view is of the blue box and little else.
preview(vid)
smallFigPos = laserFig.Position;
laserFig.Position = get(0, 'ScreenSize');
disp('Waiting for camera to be positioned...press any key to continue.')
pause

Waiting for camera to be positioned...press any key to continue.

Выполните калибровку изображений

Теперь, когда камера фокусируется на правильной области, цель чертится в каждом из четырех углов поля. Калибровка выполняется, нацеливая лазер на каждом углу синего квадрата, позволяя отношению быть установленной между пиксельными координатами камеры (изображение) и координатами оси MATLAB (квадрат). Для каждой отображенной цели:

  • выведите звук, указывающий, что лазер должен быть нацелен

  • выведите звук, указывающий, что система координат собирается быть полученной

  • инициируйте устройство захвата

  • получите доступ к полученному фрейму изображения и определите лазерное положение в пиксельных координатах

Лазерное положение определяется пороговой обработкой красная плоскость и ищущий значения высокой интенсивности. Некоторая дополнительная обработка выполняется, чтобы убедиться, что лазер не затенен фантомными изображениями, вызванными плохой оптикой в некотором WebCams. Это также проверяется, что лазерная точка на самом деле присутствовала на экране. 

% Provide calibration instructions.
calibText = sprintf('%s\n%s', ...
    'Aim the laser pointer on each target as it appears.', ...
    'Hold the laser on the target until the target moves.');
infoText.String = calibText;


% Start the acquisition and create a new figure to display
% calibration results in a MATLAB SPY plot.
start(vid)
spyFig = figure;

% Target 1...
figure(laserFig);
hTarget.XData = 0;
hTarget.YData = 0;
sound(1), pause(2)
sound(1), trigger(vid);
acqResults{1} = getdata(vid, 1);

[xCalib(1), yCalib(1), laserSights] = util_findlaser(acqResults{1});
figure(spyFig);
spy(laserSights)
title('Target 1: Suspected Laser Sighting')


% Target 2...
figure(laserFig);
hTarget.XData = 0;
hTarget.YData = 1;
sound(1), pause(2)
sound(1), trigger(vid);
acqResults{2} = getdata(vid, 1);

[xCalib(2), yCalib(2), laserSights] = util_findlaser(acqResults{2});
figure(spyFig);
spy(laserSights)
title('Target 2: Suspected Laser Sighting')


% Target 3...
figure(laserFig);
hTarget.XData = 1;
hTarget.YData = 1;
sound(1), pause(2)
sound(1), trigger(vid);
acqResults{3} = getdata(vid, 1);

[xCalib(3), yCalib(3), laserSights] = util_findlaser(acqResults{3});
figure(spyFig);
spy(laserSights)
title('Target 3: Suspected Laser Sighting')


% Target 4...
figure(laserFig);
hTarget.XData = 1;
hTarget.YData = 0;
sound(1), pause(2)
sound(1), trigger(vid);
acqResults{4} = getdata(vid, 1);

[xCalib(4), yCalib(4), laserSights] = util_findlaser(acqResults{4});
figure(spyFig);
spy(laserSights)
title('Target 4: Suspected Laser Sighting')


% Close the SPY plot and stop the acquisition.
close(spyFig)
stop(vid);

Калибровочные результаты

Постройте полученное изображение и расчетные лазерные координаты указателя для каждой цели. Поскольку желтый крест нитей расположен в соответствующее местоположение в каждом изображении, результаты обработки подтверждены. 

% Target 1 results...
calibFig = figure;
util_plotpos(acqResults{1}, xCalib(1), yCalib(1));


% Target 2 results...
util_plotpos(acqResults{2}, xCalib(2), yCalib(2));


% Target 3 results...
util_plotpos(acqResults{3}, xCalib(3), yCalib(3));


% Target 4 results...
util_plotpos(acqResults{4}, xCalib(4), yCalib(4));


% Close the figure illustrating calibration results.
close(calibFig)

Лазерное отслеживание

Запустите захват и обработайте полученные данные число раз набора. Обработка состоит из определения местоположения лазера в полученном изображении и определении лазерных положений в пикселе и координатах оси MATLAB.

Для того, чтобы сделать вещи интересными, с помощью лазерного указателя, попытайтесь "чертить" букву 'M' (для MATLAB) в синем поле. 

% Update instructions on laser screen.
figure(laserFig);
infoText.String = 'Move the laser pointer within the blue box.';

% Start the acquisition. For each iteration:
%
% * output a sound to indicate a frame is about to be acquired
% * trigger the device
% * process the acquired image and locate the laser
% * convert pixel coordinates to MATLAB axis coordinates
laser.x = [];
laser.y = [];
start(vid)
for i = 1:100,
    % Acquire an image frame and determine the
    % camera pixel coordinates.
    sound(1), trigger(vid);
    frame = getdata(vid, 1);
    [x, y] = util_findlaser(frame);

    if ~isnan(x) && ~isnan(y),
        % If coordinates were valid, ensure the camera pixel coordinate
        % was in the calibration range.
        x = max([x min(xCalib([1 2]))]);
        x = min([x max(xCalib([3 4]))]);
        y = min([y max(yCalib([1 4]))]);
        y = max([y min(yCalib([2 3]))]);

        % Determine spatial transformation from the unit square calibration points.
        tform = cp2tform([xCalib(:) yCalib(:)], [0 0; 0 1; 1 1; 1 0], 'projective');
        xyScreen = tformfwd([x, y], tform);
        xScreen = xyScreen(1);
        yScreen = xyScreen(2);

        % Ensure the new coordinates remain within the unit square.
        xScreen = min([xScreen 1]);
        xScreen = max([xScreen 0]);
        yScreen = min([yScreen 1]);
        yScreen = max([yScreen 0]);

        % Store the new MATLAB axis coordinates.
        laser.x = [laser.x(:); xScreen];
        laser.y = [laser.y(:); yScreen];
    end
end

% Plot the tracked laser positions.
laserFig.Position = smallFigPos;
plot(laser.x, laser.y, 'r*');


% Close the laser figure.
close(laserFig);

% Stop the acquisition, remove the object from memory,
% and clear the variable.
stop(vid)
delete(vid)
clear vid

Документация Image Acquisition Toolbox

Поддержка

Для просмотра документации необходимо авторизоваться на сайте