Для таких приложений, как автоматизированное вождение, робототехника, навигационные системы и реконструкция 3-D сцены, данные одной и той же сцены часто регистрируются с помощью датчиков лидара и камеры. Чтобы точно интерпретировать объекты в сцене, необходимо сплавить лидар и выходы камеры вместе. Калибровка камеры лидара оценивает твердую матрицу преобразования, которая устанавливает корреспонденции между пунктами в 3D самолете лидара и пикселями в плоскости изображения. Калибровка лидарной камеры состоит из двух частей:
Калибровка внутренних параметров
Калибровка внешних параметров между лидаром и камерой
Внутренние параметры лидарных датчиков заранее калибруются изготовителями.
Внешняя калибровка датчиков лидара и камеры обычно использует объекты калибровки, такие как плоские платы с шаблонами шахматной доски, в захваченной сцене. Угловые точки объекта калибровки обнаруживаются в данных, собранных каждым датчиком, и используются для установления соответствия точек между ними. Координаты плоскости изображения, соответствующие 3-D лидарным точкам, можно вычислить с помощью внешней калибровки и параметров внутренней камеры.
Внешняя калибровка - твердое преобразование, которое наносит на карту пункты от 3D системы координат лидара до 3D системы координат камеры. Внешние параметры состоят из поворота, R и перемещения, t.
Можно оценить матрицу жесткого преобразования с помощью estimateLidarCameraTransform функция.
Затем вычислите координаты плоскости 2-D изображения по точкам 3-D лидара и внешнему параметру.
K - внутренняя матрица камеры, определяемая внутренними параметрами: фокусным расстоянием, оптическим центром (также известным как главная точка) и коэффициентом перекоса.
| - оптический центр (главная точка), в пикселях. |
| ) - Фокусное расстояние в пикселях . F/px F/py F - фокусное расстояние в мировых единицах, обычно выраженное в миллиметрах. ) - размер пикселя в мировых единицах. |
| - коэффициент перекоса, ненулевой, если оси изображения не перпендикулярны. fxtanα |
Оценить внутренние параметры камеры можно с помощью cameraIntrinsics функция. Используя расчетные параметры внешней калибровки и собственных параметров камеры, можно проецировать точки лидара на изображение или сплавить камеру и выходы лидарного датчика. Дополнительные сведения см. в разделе projectLidarPointsOnImage и fuseCameraToLidar функции.
[1] Чжоу, Липу, Цимо Ли и Майкл Кэсс. «Автоматическая внешняя калибровка камеры и 3D LiDAR с использованием соответствия линий и плоскостей». В 2018 году IEEE/RSJ Международная конференция по интеллектуальным роботам и системам (IROS), 5562-69. Мадрид: IEEE, 2018. https://doi.org/10.1109/IROS.2018.8593660.
bboxCameraToLidar | estimateLidarCameraTransform | fuseCameraToLidar | projectLidarPointsOnImage