В этом примере показано, как автоматизировать маркировку нескольких сигналов одновременно при помощи приложения Ground Truth Labeler и AutomationAlgorithm интерфейс. Алгоритм автоматизации, используемый в этом примере, оценивает положения метки транспортных средств в системах координат облака точек на основе положений метки транспортных средств в соответствующих фреймах изображения с помощью калибровочных параметров камеры к лидару.
Хорошие достоверные данные крайне важны для разработки ведущих алгоритмов и оценки их эффективности. Однако создание богатого и разнообразного набора аннотируемых ведущих данных требует значительного времени и ресурсов. Приложение Ground Truth Labeler делает этот процесс эффективным. Можно использовать это приложение в качестве полностью ручного инструмента аннотации, чтобы отметить контуры маршрута, ограничительные рамки транспортного средства и другие предметы интереса для системы видения. Однако ручная маркировка требует существенного количества времени и ресурсов. Это приложение также служит основой, чтобы создать алгоритмы, чтобы расширить и автоматизировать процесс маркировки. Можно создать и использовать алгоритмы, чтобы быстро пометить целые наборы данных, и затем развить его с более эффективным, более коротким ручным шагом верификации. Можно также отредактировать результаты шага автоматизации с учетом сложных сценариев, которые может пропустить алгоритм автоматизации.
Этот пример описывает создание алгоритма, который может использоваться в приложении Ground Truth Labeler, чтобы автоматически обнаружить транспортные средства в изображении и оценить их положения в соответствующем облаке точек с помощью калибровочных параметров камеры к лидару.
Чтобы обнаружить транспортные средства в изображениях, алгоритм автоматизации использует предварительно обученный детектор транспортного средства совокупных функций канала (ACF), vehicleDetectorACF. Предварительный просмотр, как алгоритм работает путем загрузки демонстрационного изображения и детектора транспортного средства ACF, обнаружения транспортных средств в изображении и вставки 2D ограничительных рамок вокруг транспортных средств в изображении.
% Load the data from the MAT file and extract the image. data = load(fullfile(toolboxdir('lidar'),'lidardata','lcc','bboxGT.mat')); I = data.im; % Load the pretrained detector for vehicles. detector = vehicleDetectorACF('front-rear-view'); % Detect vehicles and show the bounding boxes. [imBboxes,~] = detect(detector, I); Iout = insertShape(I,'rectangle',imBboxes,'LineWidth',4); figure imshow(Iout) title('Detected Vehicles')
Если вы имеете информацию о калибровке фотоаппарата в наличии, можно улучшить этот детектор путем отфильтровывания ложных положительных сторон от обнаружений. Визуальное Восприятие Используя Монокулярный пример Камеры описывает, как создать предварительно обученный детектор транспортного средства и сконфигурировать его, чтобы обнаружить ограничительные рамки транспортного средства с помощью калиброванной монокулярной настройки камеры.
Чтобы оценить транспортные средства в системах координат облака точек от соответствующих обнаруженных транспортных средств во фреймах изображения, алгоритм использует bboxCameraToLidar (Lidar Toolbox) функция. Эта функция использует параметры лидара к калибровке фотоаппарата, чтобы оценить 3-D ограничительные рамки на основе 2D ограничительных рамок. Чтобы оценить ограничительные рамки, функция берет в качестве входа внутренние параметры камеры, cameraIntrinsics, и камера к лидару твердое преобразование, rigid3d.
Предварительно просмотрите, как алгоритм работает путем загрузки облака точек, соответствующего изображению, оценивая 3-D ограничительные рамки транспортных средств в облаке точек, и вставляя ограничительные рамки вокруг транспортных средств в облаке точек.
% Extract the point cloud. ptCloud = data.pc; % Extract the intrinsic camera parameters. intrinsics = data.cameraParams; % Extract the camera-to-lidar rigid transformation. tform = data.camToLidar; % Estimate the bounding boxes in the point cloud. pcBboxes = bboxCameraToLidar(imBboxes, ptCloud, intrinsics, tform); % Display bounding boxes in the point cloud. figure ax = pcshow(ptCloud.Location); showShape('cuboid',pcBboxes,'Parent',ax,'Opacity',0.1,'Color',[0.06 1.00 1.00],'LineWidth',0.5) hold on zoom(ax,1.5) title('Estimated Bounding Box in Point Cloud') hold off
Чтобы включить алгоритм детектора транспортного средства мультисигнала в рабочий процесс автоматизации приложения Ground Truth Labeler, создайте класс, который наследовался абстрактному базовому классу, vision.labeler.AutomationAlgorithm. Этот базовый класс задает свойства и подписи для методов, которые приложение использует для конфигурирования и выполнения пользовательского алгоритма. Приложение Ground Truth Labeler обеспечивает удобный способ получить первоначальный шаблон класса автоматизации. Для получения дополнительной информации смотрите, Создают Алгоритм Автоматизации для Маркировки. Класс MultiSignalVehicleDetector основан на этом шаблоне и предоставляет вам готовый к использованию класс автоматизации для обнаружения транспортного средства в изображении и оценки ограничительной рамки транспортного средства облако точек. Комментарии схемы класса основные шаги должны были реализовать каждый вызов API.
Шаг 1 содержит свойства, которые задают имя и описание алгоритма и направлений для использования алгоритма.
% ----------------------------------------------------------------------
% Step 1: Define the properties required for describing the algorithm,
% which include Name, Description, and UserDirections.
properties(Constant)
% Name Algorithm name
% Character vector specifying the name of the algorithm.
Name = 'Multisignal Vehicle Detector';
% Description Algorithm description
% Character vector specifying the short description of the algorithm.
Description = ['Detect vehicles using ACF Vehicle Detector in ' ...
'image and estimate them in point cloud.'];
% UserDirections Algorithm usage directions
% Cell array of character vectors specifying directions for
% algorithm users to follow.
UserDirections = {['Select one of the rectangle ROI labels to ' ...
'label objects as Vehicle.'], ...
['Click Settings and on the Lidar Camera Calibration ' ...
'Parameters tab, load the cameraIntrinsics and rigid3d ' ...
'objects from the workspace.'], ...
['Specify additional parameters under Settings.'], ...
['Click Run to detect vehicles in each image and point cloud.'], ...
['Review automated labels manually. You can modify, delete ', ...
'and add new labels.'], ...
['If you are not satisfied with the results, click Undo ' ...
'Run. Click Settings to modify algorithm settings and click ', ...
'Run again.'] ...
['When you are satisfied with the results, click Accept and ', ...
'return to manual labeling.']};
end
Шаг 2 содержит пользовательские свойства для основного алгоритма.
% ---------------------------------------------------------------------
% Step 2: Define properties to be used to manage algorithm execution.
properties
% SelectedLabelName Selected label name
% Name of the selected label. Vehicles detected by the algorithm will
% be assigned this variable name.
SelectedLabelName
% Detector Detector
% Pretrained vehicle detector, an object of class
% acfObjectDetector.
Detector
% VehicleModelName Vehicle detector model name
% Name of pretrained vehicle detector model.
VehicleModelName = 'full-view';
% OverlapThreshold Overlap threshold
% Threshold value used to eliminate overlapping bounding boxes
% around the reference bounding box, between 0 and 1. The
% bounding box overlap ratio denominator, 'RatioType', is set to
% 'Min'.
OverlapThreshold = 0.45;
% ScoreThreshold Classification score threshold
% Threshold value used to reject detections with low detection
% scores.
ScoreThreshold = 20;
% ConfigureDetector Detection configuration flag
% Boolean value that determines whether the detector is
% configured using monoCamera sensor.
ConfigureDetector = false;
% SensorObj monoCamera sensor
% Monocular camera sensor object, monoCamera, used to configure
% the detector. A configured detector runs faster and can
% potentially result in better detections.
SensorObj = [];
% SensorStr monoCamera sensor variable name
% Character vector specifying the monoCamera object variable name
% used to configure the detector.
SensorStr = '';
% VehicleWidth Vehicle width
% Vehicle width used to configure the detector, specified as
% [minWidth, maxWidth], which describes the approximate width of the
% object in world units.
VehicleWidth = [1.5 2.5];
% VehicleLength Vehicle length
% Vehicle length used to configure the detector, specified as
% [minLength, maxLength] vector, which describes the approximate
% length of the object in world units.
VehicleLength = [];
% IntrinsicsObj Camera intrinsics
% cameraIntrinsics object, which represents a projective
% transformation from camera to image coordinates.
IntrinsicsObj = [];
% IntrinsicsStr cameraIntrinsics variable name
% cameraIntrinsics object variable name.
IntrinsicsStr = '';
% ExtrinsicsObj Camera-to-lidar rigid transformation
% rigid3d object representing the 3-D rigid geometric transformation
% from the camera to the lidar.
ExtrinsicsObj = [];
% ExtrinsicsStr rigid3d variable name
% Camera-to-lidar rigid3d object variable name.
ExtrinsicsStr = '';
% ClusterThreshold Clustering threshold for two adjacent points
% Threshold specifying the maximum distance between two adjacent points
% for those points to belong to the same cluster.
ClusterThreshold = 1;
end
Шаг 3 имеет дело с функциональными определениями.
Первая функция, supportsMultisignalAutomation, проверки, что алгоритм поддерживает несколько сигналов. Для детектора транспортного средства мультисигнала вы загружаете и изображение и сигналы облака точек, таким образом, success установлен в true.
function success = supportsMultisignalAutomation(~)
% Supports MultiSignal.
success = true;
end
Следующая функция, checkSignalType, проверки, что только сигналы соответствующего типа поддерживаются для автоматизации. Детектор транспортного средства мультисигнала должен поддержать сигналы типа Image и PointCloud, таким образом, эта версия функции проверяет на оба типа сигнала.
function isValid = checkSignalType(signalType)
% Only video/image sequence and point cloud signal data
% is valid.
isValid = any(signalType == vision.labeler.loading.SignalType.Image) && ...
any(signalType == vision.labeler.loading.SignalType.PointCloud);
end
Следующая функция, checkLabelDefinition, проверки, что только метки соответствующего типа включены для автоматизации. Для обнаружения транспортного средства в изображении и сигналах облака точек, вы проверяете что только метки типа Rectangle/Cuboid включены, таким образом, эта версия функции проверяет Type из меток.
function isValid = checkLabelDefinition(~, labelDef)
% Only Rectangular/Cuboid ROI Label definitions are valid for the
% Vehicle Detector.
isValid = (labelDef.Type == labelType.Cuboid || labelDef.Type == labelType.Rectangle);
end
Следующая функция, checkSetup, проверки, которые только одно определение метки ROI выбрано, чтобы автоматизировать.
function isReady = checkSetup(algObj, ~)
% Is there one selected ROI Label definition to automate?
isReady = ~isempty(algObj.SelectedLabelDefinitions);
end
Затем settingsDialog функция получает и изменяет свойства, заданные на шаге 2. Этот вызов API позволяет вам создать диалоговое окно, которое открывается, когда пользователь нажимает кнопку Settings во вкладке Automate. Чтобы создать это диалоговое окно, используйте dialog функция, чтобы создать модальное окно, чтобы попросить, чтобы пользователь задал cameraIntrinsics объект и rigid3d объект. multiSignalVehicleDetectorSettings метод содержит код для настроек и также добавляет шаги контроля ввода.
function settingsDialog(algObj)
% Invoke dialog box to input camera intrinsics and
% camera-to-lidar rigid transformation and options for choosing
% a pretrained model, overlap threshold, detection score
% threshold, and clustering threshold. Optionally, input a
% calibrated monoCamera sensor to configure the detector.
multiSignalVehicleDetectorSettings(algObj);
end
Шаг 4 задает функции выполнения. initialize функция заполняет начальное состояние алгоритма на основе существующих меток в приложении. В MultiSignalVehicleDetector класс, initialize функция была настроена, чтобы сохранить имя выбранного определения метки и загрузить предварительно обученный детектор транспортного средства ACF и сохранить его в Detector свойство.
function initialize(algObj, ~)
% Store the name of the selected label definition. Use this
% name to label the detected vehicles.
algObj.SelectedLabelName = algObj.SelectedLabelDefinitions.Name;
% Initialize the vehicle detector with a pretrained model.
algObj.Detector = vehicleDetectorACF(algObj.VehicleModelName);
end
Затем run функция задает базовый алгоритм обнаружения транспортного средства этого класса автоматизации. run функция вызвана для каждой системы координат изображения и последовательности облака точек и ожидает, что класс автоматизации возвратит набор меток. run функция в MultiSignalVehicleDetector содержит логику, описанную ранее для обнаружения 2D ограничительных рамок транспортного средства во фреймах изображения и оценке 3-D ограничительных рамок транспортного средства в системах координат облака точек.
function autoLabels = run(algObj, I)
% autoLabels a cell array of length the same as the number of
% signals.
autoLabels = cell(size(I,1),1);
% Get the index of Image and PointCloud frames.
if isa(I{1,1},"pointCloud")
pcIdx = 1;
imIdx = 2;
else
imIdx = 1;
pcIdx = 2;
end
% Detect bounding boxes on image frame.
selectedBboxes = detectVehicle(algObj, I{imIdx,1});
% Estimate bounding boxes on point cloud frame.
if ~isempty(selectedBboxes)
% Store labels from the image.
imageLabels = struct('Type', labelType.Rectangle, ...
'Name', algObj.SelectedLabelDefinitions.Name, ...
'Position', selectedBboxes);
autoLabels{imIdx, 1} = imageLabels;
% Remove the ground plane for the point cloud.
groundPtsIndex = segmentGroundFromLidarData(I{pcIdx,1}, ...
"ElevationAngleDelta", 15, "InitialElevationAngle", 10);
nonGroundPts = select(I{pcIdx,1}, ~groundPtsIndex);
% Predict 3-D bounding boxes.
pcBboxes = bboxCameraToLidar(selectedBboxes, nonGroundPts, algObj.IntrinsicsObj, ...
algObj.ExtrinsicsObj, "ClusterThreshold", algObj.ClusterThreshold);
% Store labels from the point cloud.
if(~isempty(pcBboxes))
pcLabels = struct('Type', labelType.Cuboid,...
'Name', algObj.SelectedLabelDefinitions.Name,...
'Position', pcBboxes);
autoLabels{pcIdx, 1} = pcLabels;
else
autoLabels{pcIdx, 1} = {};
end
else
autoLabels{imIdx, 1} = {};
autoLabels{pcIdx, 1} = {};
end
end
Наконец, terminate сделаны указатели на функцию любая очистка или отключение, требуемое после автоматизации. Этот алгоритм не требует никакой очистки, таким образом, функция пуста.
function terminate(~)
end
Свойства и методы, описанные в предыдущем разделе, реализованы в MultiSignalVehicleDetector файл класса алгоритма автоматизации. Использовать этот класс в приложении:
Создайте структуру папок +vision/+labeler требуемый под текущей папкой и копией класс автоматизации в него.
mkdir('+vision/+labeler');
copyfile(fullfile(matlabroot,'examples','driving','main','MultiSignalVehicleDetector.m'), ...
'+vision/+labeler');
Загрузите последовательность облака точек (PCD) и последовательность изображений. В целях рисунка этот пример использует данные о лидаре WPI, собранные по магистрали от Изгнания датчик лидара OS1 и данные изображения WPI от обращенной к передней стороне камеры, смонтированной на автомобиле, оборудованном датчиком. Выполните следующий блок кода, чтобы загрузить и сохранить лидар и данные изображения во временной папке. В зависимости от вашего Интернет-соединения может занять время процесс загрузки. Код приостанавливает выполнение MATLAB®, пока процесс загрузки не завершен. В качестве альтернативы можно загрузить набор данных на локальный диск с помощью веб-браузера и извлечь файл.
Загрузите последовательность изображений на временное местоположение.
imageURL = 'https://www.mathworks.com/supportfiles/lidar/data/WPI_ImageData.tar.gz';
imageDataFolder = fullfile(tempdir, 'WPI_ImageData',filesep);
imageDataTarFile = imageDataFolder + "WPI_ImageData.tar.gz";
if ~exist(imageDataFolder,'dir')
mkdir(imageDataFolder)
end
if ~exist(imageDataTarFile, 'file')
disp('Downloading WPI Image driving data (225 MB)...');
websave(imageDataTarFile, imageURL);
untar(imageDataTarFile, imageDataFolder);
end
% Check if image tar.gz file is downloaded, but not uncompressed.
if ~exist(fullfile(imageDataFolder,'imageData'),'dir')
untar(imageDataTarFile, imageDataFolder)
end
В целях рисунка этот пример использует только подмножество последовательности изображений WPI от систем координат 920–940. Чтобы загрузить подмножество изображений в приложение, скопируйте изображения в папку.
% Create new folder and copy the images.
imDataFolder = imageDataFolder + "imageDataSequence";
if ~exist(imDataFolder,'dir')
mkdir(imDataFolder);
end
for i = 920 : 940
filename = strcat(num2str(i,'%06.0f'),'.jpg');
source = fullfile(imageDataFolder,'imageData',filename);
destination = fullfile(imageDataFolder,'imageDataSequence',filename);
copyfile(source,destination)
end
Загрузите последовательность облака точек на временное местоположение.
lidarURL = 'https://www.mathworks.com/supportfiles/lidar/data/WPI_LidarData.tar.gz';
lidarDataFolder = fullfile(tempdir,'WPI_LidarData',filesep);
lidarDataTarFile = lidarDataFolder + "WPI_LidarData.tar.gz";
if ~exist(lidarDataFolder)
mkdir(lidarDataFolder)
end
if ~exist(lidarDataTarFile, 'file')
disp('Downloading WPI Lidar driving data (760 MB)...');
websave(lidarDataTarFile,lidarURL);
untar(lidarDataTarFile,lidarDataFolder);
end
% Check if lidar tar.gz file is downloaded, but not uncompressed.
if ~exist(fullfile(lidarDataFolder,'WPI_LidarData.mat'),'file')
untar(lidarDataTarFile,lidarDataFolder);
end
Поддержки приложений Ground Truth Labeler загрузка последовательностей облака точек, состоявших из PCD или файлов PLY. Сохраните загруженные данные об облаке точек к файлам PCD. В целях рисунка, в этом примере, вы сохраняете только подмножество данных об облаке точек WPI от систем координат 920–940.
% Load downloaded lidar data into the workspace.
load(fullfile(lidarDataFolder,'WPI_LidarData.mat'),'lidarData');
lidarData = reshape(lidarData,size(lidarData,2),1);
% Create new folder and write lidar data to PCD files.
pcdDataFolder = lidarDataFolder + "lidarDataSequence";
if ~exist(pcdDataFolder, 'dir')
mkdir(fullfile(lidarDataFolder,'lidarDataSequence'));
end
disp('Saving WPI Lidar driving data to PCD files ...');
for i = 920:940
filename = strcat(fullfile(lidarDataFolder,'lidarDataSequence',filesep), ...
num2str(i,'%06.0f'),'.pcd');
pcwrite(lidarData{i},filename);
end
Информацией о калибровке, как ожидают, будут в форме внутреннего параметра и значения внешних параметров (твердое преобразование) параметры, как упомянуто в Лидаре и Калибровке фотоаппарата (Lidar Toolbox). Загрузите внутренние параметры камеры, которые хранятся в cameraIntrinsics объект и камера к лидару твердое преобразование, которое хранится в rigid3d объект, к рабочей области. Данные WPI в этом примере калибруются и внутренний параметр и значение внешних параметров (преобразование камеры к лидару), параметры сохранены в файле MAT.
data = load(fullfile(toolboxdir('lidar'),'lidardata','lcc','bboxGT.mat'));
cameraParams = data.cameraParams;
camToLidar = data.camToLidar;
Откройте приложение Ground Truth Labeler.
imageDir = fullfile(tempdir, 'WPI_ImageData', 'imageDataSequence');
pointCloudDir = fullfile(tempdir, 'WPI_LidarData', 'lidarDataSequence');
groundTruthLabeler
На панели инструментов приложения выберите Import и затем Добавьте Сигналы. В окне Add/Remove Signal загрузите последовательность изображений.
Установите исходный тип на Image Sequence.
Просмотрите папку последовательности изображений, которая является в местоположении, заданном imageDir переменная.
Используйте метки времени по умолчанию и нажмите Add Source. Папка последовательности изображений, imageDataSequence, добавляется к исходной таблице сигнала.
На панели инструментов приложения выберите Import и затем Добавьте Сигналы. В окне Add/Remove Signal загрузите последовательность облака точек.
Установите исходный тип на Point Cloud Sequence.
Просмотрите папку последовательности облака точек, которая является в местоположении, заданном pointCloudDir переменная.
Используйте метки времени по умолчанию и нажмите Add Source. Папка последовательности облака точек, lidarDataSequence, добавляется к исходной таблице сигнала.
Нажмите ОК, чтобы импортировать сигналы в приложение. Чтобы просмотреть сигналы рядом друг с другом, на вкладке Label, нажимают Display Grid и отображают сигналы в 1 2 сетка.
Во вкладке ROI Labels на левой панели нажмите Label и задайте метку ROI с именем Vehicle и тип Rectangle/Cuboid, как показано здесь. Опционально, выберите цвет, и затем нажмите ОК.
Выберите оба сигнала для автоматизации. На вкладке Label выберите Algorithm и затем Выберите Signals и выберите оба сигнала. Нажать ОК.
Под Выбирают Algorithm, выбирают список Refresh. Затем выберите Algorithm и затем Детектор Транспортного средства Мультисигнала. Если вы не видите эту опцию, проверяете, что текущая рабочая папка имеет папку под названием +vision/+labeler, с файлом с именем MultiSignalVehicleDetector.m в нем.
Нажмите Automate. Приложение открывает сеанс автоматизации для выбранных сигналов и направления отображений для использования алгоритма.
Загрузите внутренние параметры камеры в сеанс автоматизации.
На вкладке Automate нажмите Settings.
На вкладке Lidar-to-Camera Calibration Parameters нажмите внутренние параметры камеры Import из рабочей области.
Импортируйте внутренние параметры камеры, cameraParams, от рабочего пространства MATLAB. Нажать ОК.
Загрузите преобразование камеры к лидару в сеанс автоматизации.
На вкладке параметров Лидара к калибровке фотоаппарата нажмите преобразование камеры к лидару Import из рабочей области.
Импортируйте преобразование, camToLidar, от рабочего пространства MATLAB. Нажать ОК.
Измените дополнительные настройки детектора транспортного средства по мере необходимости и нажмите ОК. Затем на вкладке Automate нажмите Run. Созданный алгоритм выполняется на каждой системе координат последовательности и обнаруживает транспортные средства при помощи Vehicle пометьте тип. После того, как приложение завершает запущенную автоматизацию, используйте ползунок или клавиши со стрелками, чтобы просмотреть последовательность путем прокрутки, чтобы определить местоположение систем координат, где алгоритм автоматизации пометил неправильно. Вручную настройте результаты путем корректировки обнаруженных ограничительных рамок или добавления новых ограничительных рамок.
Если вы удовлетворены обнаруженными ограничительными рамками транспортного средства для целой последовательности, нажимаете кнопку Принять. Можно затем продолжить вручную настраивать метки или экспортировать помеченную основную истину в рабочее пространство MATLAB.
Можно использовать концепции, описанные в этом примере, чтобы создать собственные алгоритмы автоматизации мультисигнала и расширить функциональность приложения.
bboxCameraToLidar (Lidar Toolbox) | bboxLidarToCamera (Lidar Toolbox)