Калибровка и слияние датчиков

Интерактивное выполнение калибровки, оценка преобразования лидарной камеры и предохранение данных от каждого датчика

Большинство современных автономных или полуавтономных транспортных средств оснащены сенсорными комплектами, которые содержат множество датчиков. Необходимо разработать геометрическое соответствие между этими датчиками, понять и соотнести выходные данные. Для калибровки и сплавления данных с этих датчиков требуются вращательные и поступательные преобразования. Слияние лидарных данных с соответствующими данными камеры особенно полезно в конвейере восприятия. Для этого используется процесс калибровки лидара и камеры (LCC). Используется метод калибровки шахматного шаблона. Дополнительные сведения см. в разделе Что такое калибровка камеры Lidar?.

Алгоритмы Lidar Toolbox™ обеспечивают функциональные возможности для извлечения шашечных функций из изображений и точечных облаков и используют их для оценки преобразования между камерой и лидарным сенсором. Панель инструментов также предоставляет дочерние функции LCC, проецируя точки lidar на изображения, сплавляя информацию о цвете в облаках точек lidar и перенося ограничивающие рамки из данных камеры в данные lidar. Все эти функции были интегрированы в приложение Lidar Camera Calibrator. С помощью приложения можно выполнять интерактивную калибровку датчиков.

Приложения

Калибратор камеры Lidar

Интерактивная оценка жесткого преобразования между лидарным датчиком и камерой

Функции

развернуть все

Извлечение элементов

`estimateCheckerboardCorners3d`	Оценка координат мирового кадра угловых точек шахматной доски на изображении
`detectRectangularPlanePoints`	Обнаружение прямоугольной плоскости заданных размеров в облаке точек

Калибровка

estimateLidarCameraTransform Оценка жесткого преобразования из лидарного датчика в камеру

Слияние датчиков

`projectLidarPointsOnImage`	Проецирование данных облака точек лидара на рамку координат изображения
`fuseCameraToLidar`	Преобразование информации об изображении в облако точек lidar
`bboxCameraToLidar`	Оценка 3-D ограничивающих боксов в облаке точек по 2-D ограничивающим боксам на изображении
`bboxLidarToCamera`	Оцените, что 2-й ограничивающий прямоугольник при закрытых дверях создает использующий 3D ограничивающий прямоугольник в раме лидара

Темы

Что такое калибровка камеры Lidar?

Интеграция данных лидара и камеры.

Руководство по калибровке и процедура

Эти инструкции и процедуры применяются к калибровке лидарной камеры.

Чтение данных Lidar и камеры из файла Rosbag

В этом примере показано, как считывать и сохранять изображения и данные облака точек из файла rosbag.

Характерные примеры

Калибровка Lidar и камеры

Оцените жесткое преобразование между 3-D лидаром и камерой. В конце этого примера можно использовать жесткую матрицу преобразования для предохранения данных лидара и камеры.

Открыть сценарий в реальном времени

Detect Vehicles in Lidar Using Image Labels

Обнаружение транспортных средств в Лидаре с помощью меток изображений

Обнаружение транспортных средств в лидаре с использованием данных этикетки с совместно расположенной камеры с известными параметрами калибровки лидара к камере. Этот рабочий процесс в MATLAB ® используется для оценки 3-D ориентированных ограничивающих рамок в лидаре на основе 2-D ограничивающих рамок в соответствующем изображении. Также будет показано, как автоматически генерировать истину земли как расстояние для 2-D ограничивающих прямоугольников на изображении камеры с использованием данных лидара. На этом рисунке представлен обзор процесса.

Открыть сценарий в реальном времени

Track-Level Fusion of Radar and Lidar Data

Слияние радиолокационных данных и данных Лидара на уровне отслеживания

Формирование списка дорожек на уровне объекта на основе измерений радара и лидарного датчика и дальнейшее их сплавление с использованием схемы слияния на уровне дорожек. Радиолокационные измерения обрабатываются с использованием расширенного трекера объектов и лидарных измерений с использованием совместного трекера вероятностных данных (JPDA). Эти дорожки далее сплавляются с помощью схемы слияния на уровне дорожек. Схема рабочего процесса показана ниже.

Открыть сценарий

Документация