Что такое калибровка камеры Лидара?

Для таких приложений, как беспилотное вождение, робототехника, навигационные системы и 3-D реконструкция сцены, данные одной и той же сцены часто фиксируются с помощью датчиков лидара и камеры. Чтобы точно интерпретировать объекты в сцене, необходимо сплавить лидар и выходы камеры. Lidar camera calibration оценивает твердую матрицу преобразования, которая устанавливает соответствия между точками в 3-D лидарной плоскости и пикселями в плоскости изображения. Существует две части для калибровки лидарного фотоаппарата:

  • Калибровка для собственных параметров

  • Калибровка для внешних параметров между лидаром и камерой

Собственные параметры датчиков лидара заранее калибруются производителями.

Lidar data and fused lidar-camera data

Внешняя калибровка лидара и камеры

Внешняя калибровка датчиков лидара и камеры обычно использует объекты калибровки, такие как плоские доски с шаблонами шахматной доски, в захваченной сцене. Угловые точки объекта калибровки обнаруживаются в данных, полученных каждым датчиком и используются, чтобы установить соответствия точек между ними. Можно вычислить координаты плоскости изображения, соответствующие 3-D лидаров точкам, используя внешнюю калибровку и параметры собственной камеры.

Transformation

Внешняя калибровка является твердым преобразованием, которое преобразует точки из 3-D лидарной системы координат в 3-D систему координат камеры. Внешние параметры состоят из вращения, R и перемещения, t.

Extrinsic parameter

Можно оценить твердую матрицу преобразования с помощью estimateLidarCameraTransform функция.

Затем вычислите координаты плоскости 2-D изображения из 3-D точек лидара и внешнего параметра.

2-D Transform equation

K - внутренняя матрица камеры, заданная собственными параметрами: фокусным расстоянием, оптическим центром (также известным как главная точка) и коэффициентом наклона.

K=[fx00sfy0cxcy1]

[cxcy] - Оптический центр (главная точка), в пикселях.
(fx,fy) - Фокусное расстояние в пикселях.
fx=F/px
fy=F/py
F - фокусное расстояние в мировых единицах измерения, обычно выраженное в миллиметрах.
(px,py) - Размер пикселя в мировых единицах измерения.
s - Коэффициент наклона, который не равен нулю, если оси изображения не перпендикулярны.
s=fxtanα
Наклон пикселя определяется как:

Skew

Можно оценить внутренние параметры камеры при помощи cameraIntrinsics функция. Используя предполагаемые внешние параметры калибровки и внутренней камеры, можно проецировать лидарные точки на изображение или слить выходные выходы камеры и датчика лидара. Для получения дополнительной информации смотрите projectLidarPointsOnImage и fuseCameraToLidar функций.

Ссылки

[1] Чжоу, Липу, Зимо Ли и Майкл Кэсс. Автоматическая внешняя калибровка камеры и 3D ЛИДАРА с использованием Линии и плоских соответствий. В 2018 году IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 5562-69. Мадрид: IEEE, 2018. https://doi.org/10.1109/IROS.2018.8593660.

См. также

| | |

Похожие примеры

Подробнее о

Для просмотра документации необходимо авторизоваться на сайте