Сконфигурируйте монокулярную Fisheye-камеру

В этом примере показов, как преобразовать модель fisheye-камеры в модель pinhole и создать соответствующую симуляцию монокулярного датчика камеры. В этом примере вы узнаете, как калибровать fisheye-камеру и сконфигурировать monoCamera (Automated Driving Toolbox) объект.

Обзор

Чтобы симулировать монокулярный датчик камеры, установленный в транспортном средстве, выполните следующие шаги:

  1. Оцените параметры собственной камеры путем калибровки камеры с помощью шахматной доски. Внутренние параметры описывают свойства самой fisheye-камеры.

  2. Оцените параметры внешней камеры, снова калибровав камеру с помощью той же шахматной доски от предыдущего шага. Внешние параметры описывают положение монтажа fisheye-камеры в транспортное средство системе координат.

  3. Удалите искажение изображения путем преобразования характерных особенностей fisheye-камеры в характеристику камеры pinhole. Эти признаки описывают синтетическую камеру-пинхол, которая гипотетически может генерировать неискаженные изображения.

  4. Используйте собственные параметры камеры pinhole и внешние параметры, чтобы сконфигурировать датчик монокулярной камеры для симуляции. Затем можно использовать этот датчик для обнаружения объектов и контуров маршрута.

Оценка Fisheye-камеры внутренних данных

Для оценки собственных параметров используйте шахматную плату для калибровки камеры. В качестве альтернативы, чтобы лучше визуализировать результаты, используйте приложение Camera Calibrator.Для fisheye-камеры полезно разместить шахматную доску рядом с камерой, порядок захватить большие заметные искажения на изображении.

 % Gather a set of calibration images.
images = imageDatastore(fullfile(toolboxdir('vision'), 'visiondata', ...
      'calibration', 'gopro'));
imageFileNames = images.Files;
 
% Detect calibration pattern.
[imagePoints, boardSize] = detectCheckerboardPoints(imageFileNames);

% Generate world coordinates of the corners of the squares.
squareSize = 0.029; % Square size in meters
worldPoints = generateCheckerboardPoints(boardSize, squareSize);

% Calibrate the camera.
I = readimage(images, 1); 
imageSize = [size(I, 1), size(I, 2)];
params = estimateFisheyeParameters(imagePoints, worldPoints, imageSize);

Оценка Fisheye-камеры Extrinsics

Чтобы оценить внешние параметры, используйте ту же шахматную доску, чтобы оценить положение камеры в системе координат транспортного средства. Следующий шаг оценивает параметры из одного изображения. Можно также сделать несколько шахматных изображений, чтобы получить несколько оценок и усреднить результаты.

% Load a different image of the same checkerboard, where the checkerboard 
% is placed on the flat ground. Its X-axis is pointing to the right of the 
% vehicle, and its Y-axis is pointing to the camera. The image includes 
% noticeable distortion, such as along the wall next to the checkerboard.

imageFileName = fullfile(toolboxdir('driving'), 'drivingdata', 'checkerboard.png');
I = imread(imageFileName);
imshow(I)
title('Distorted Checkerboard Image');

Figure contains an axes. The axes with title Distorted Checkerboard Image contains an object of type image.

[imagePoints, boardSize] = detectCheckerboardPoints(I);
 
% Generate coordinates of the corners of the squares.
squareSize = 0.029; % Square size in meters
worldPoints = generateCheckerboardPoints(boardSize, squareSize);
 
% Estimate the parameters for configuring the monoCamera object. 
% Height of the checkerboard is zero here, since the pattern is 
% directly on the ground.
originHeight = 0;
[pitch, yaw, roll, height] = estimateMonoCameraParameters(params.Intrinsics, ...
                               imagePoints, worldPoints, originHeight);
                           

Создайте синтетическую камеру-трубку для неискаженного изображения

% Undistort the image and extract the synthetic pinhole camera intrinsics.
[J1, camIntrinsics] = undistortFisheyeImage(I, params.Intrinsics, 'Output', 'full');
imshow(J1)
title('Undistorted Image');

Figure contains an axes. The axes with title Undistorted Image contains an object of type image.

% Set up monoCamera with the synthetic pinhole camera intrinsics. 
% Note that the synthetic camera has removed the distortion.
sensor = monoCamera(camIntrinsics, height, 'pitch', pitch, 'yaw', yaw, 'roll', roll);

Постройте вид на глаз птицы

Теперь можно подтвердить monoCamera (Automated Driving Toolbox) путем построения графика вида птичьего полета.

% Define bird's-eye-view transformation parameters
distAheadOfSensor = 6; % in meters
spaceToOneSide = 2.5;  % look 2.5 meters to the right and 2.5 meters to the left
bottomOffset = 0.2;  % look 0.2 meters ahead of the sensor
outView = [bottomOffset, distAheadOfSensor, -spaceToOneSide, spaceToOneSide];
outImageSize = [NaN,1000]; % output image width in pixels

birdsEyeConfig = birdsEyeView(sensor, outView, outImageSize);

% Transform input image to bird's-eye-view image and display it
B = transformImage(birdsEyeConfig, J1);

% Place a 2-meter marker ahead of the sensor in bird's-eye view
imagePoint0 = vehicleToImage(birdsEyeConfig, [2, 0]);
offset = 5; % offset marker from text label by 5 pixels
annotatedB = insertMarker(B, imagePoint0 - offset);
annotatedB = insertText(annotatedB, imagePoint0, '2 meters');

figure
imshow(annotatedB)
title('Bird''s-Eye View')

Figure contains an axes. The axes with title Bird's-Eye View contains an object of type image.

График выше показывает, что камера точно измеряет расстояния. Теперь можно использовать монокулярную камеру для обнаружения контуров объекта и маршрута. Смотрите пример визуального восприятия с использованием монокулярной камеры (Automated Driving Toolbox).

Для просмотра документации необходимо авторизоваться на сайте