Для таких приложений, как беспилотное вождение, робототехника, навигационные системы и 3-D реконструкция сцены, данные одной и той же сцены часто фиксируются с помощью датчиков лидара и камеры. Чтобы точно интерпретировать объекты в сцене, необходимо сплавить лидар и выходы камеры. Lidar camera calibration оценивает твердую матрицу преобразования, которая устанавливает соответствия между точками в 3-D лидарной плоскости и пикселями в плоскости изображения. Существует две части для калибровки лидарного фотоаппарата:
Калибровка для собственных параметров
Калибровка для внешних параметров между лидаром и камерой
Собственные параметры датчиков лидара заранее калибруются производителями.
Внешняя калибровка датчиков лидара и камеры обычно использует объекты калибровки, такие как плоские доски с шаблонами шахматной доски, в захваченной сцене. Угловые точки объекта калибровки обнаруживаются в данных, полученных каждым датчиком и используются, чтобы установить соответствия точек между ними. Можно вычислить координаты плоскости изображения, соответствующие 3-D лидаров точкам, используя внешнюю калибровку и параметры собственной камеры.
Внешняя калибровка является твердым преобразованием, которое преобразует точки из 3-D лидарной системы координат в 3-D систему координат камеры. Внешние параметры состоят из вращения, R и перемещения, t.
Можно оценить твердую матрицу преобразования с помощью estimateLidarCameraTransform
функция.
Затем вычислите координаты плоскости 2-D изображения из 3-D точек лидара и внешнего параметра.
K - внутренняя матрица камеры, заданная собственными параметрами: фокусным расстоянием, оптическим центром (также известным как главная точка) и коэффициентом наклона.
- Оптический центр (главная точка), в пикселях. |
- Фокусное расстояние в пикселях. F - фокусное расстояние в мировых единицах измерения, обычно выраженное в миллиметрах. - Размер пикселя в мировых единицах измерения. |
- Коэффициент наклона, который не равен нулю, если оси изображения не перпендикулярны. |
Можно оценить внутренние параметры камеры при помощи cameraIntrinsics
функция. Используя предполагаемые внешние параметры калибровки и внутренней камеры, можно проецировать лидарные точки на изображение или слить выходные выходы камеры и датчика лидара. Для получения дополнительной информации смотрите projectLidarPointsOnImage
и fuseCameraToLidar
функций.
[1] Чжоу, Липу, Зимо Ли и Майкл Кэсс. Автоматическая внешняя калибровка камеры и 3D ЛИДАРА с использованием Линии и плоских соответствий. В 2018 году IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 5562-69. Мадрид: IEEE, 2018. https://doi.org/10.1109/IROS.2018.8593660.
bboxCameraToLidar
| estimateLidarCameraTransform
| fuseCameraToLidar
| projectLidarPointsOnImage