Для приложений такой, как автоматизировано управление, робототехника, системы навигации и 3-D реконструкция сцены, данные той же сцены часто собираются с помощью и датчиков лидара и камеры. Чтобы точно интерпретировать объекты в сцене, необходимо плавить лидар и камеру выходные параметры вместе. Lidar camera calibration оценивает твердую матрицу преобразования, которая устанавливает соответствия между точками в 3-D плоскости лидара и пикселями в плоскости изображения. Существует две части, чтобы лоцировать калибровку фотоаппарата:
Калибровка для внутренних параметров
Калибровка для внешних параметров между лидаром и камерой
Внутренние параметры датчиков лидара калибруются заранее производителями.
Внешняя калибровка датчиков лидара и камеры обычно использует калибровочные объекты, такие как плоские платы с рисунками в клетку, в полученной сцене. Угловые точки калибровочного объекта обнаруживаются в данных, собранных каждым датчиком, и раньше устанавливали соответствия точки между ними. Можно вычислить координаты плоскости изображения, соответствующие 3-D точкам лидара при помощи внешней калибровки и внутренних параметров камеры.
Внешняя калибровка является твердым преобразованием, которое сопоставляет точки от 3-D системы координат лидара до 3-D системы координат камеры. Внешние параметры состоят из вращения, R, и перевода, t.
Можно оценить твердую матрицу преобразования при помощи estimateLidarCameraTransform функция.
Затем вычислите 2D координаты плоскости изображения из 3-D точек лидара и внешнего параметра.
K является матрицей внутреннего параметра камеры, заданной внутренними параметрами: фокусное расстояние, оптический центр (также известный как основную точку), и скошенный коэффициент.
| — Оптический центр (основная точка), в пикселях. |
| — Фокусное расстояние в пикселях. F Фокусное расстояние в мировых единицах измерения, обычно описанных в миллиметрах. — Размер пикселя в мировых единицах измерения. |
| — Скошенный коэффициент, который является ненулевым, если оси изображений не перпендикулярны. |
Можно оценить параметры внутреннего параметра камеры при помощи cameraIntrinsics функция. Используя предполагаемую внешнюю калибровку и параметры внутреннего параметра камеры, можно спроектировать точки лидара на изображение или плавить камеру и датчик лидара выходные параметры. Для получения дополнительной информации смотрите projectLidarPointsOnImage и fuseCameraToLidar функции.
[1] Чжоу, Lipu, Зимо Ли и Майкл Кэесс. “Автоматическая Внешняя Калибровка Камеры и 3D LiDAR Используя Линию и Плоские Соответствия”. На 2018 Международных конференциях IEEE/RSJ по вопросам Интеллектуальных Роботов и Систем (IROS), 5562–69. Мадрид: IEEE, 2018. https://doi.org/10.1109/IROS.2018.8593660.
estimateLidarCameraTransform | projectLidarPointsOnImage | fuseCameraToLidar | bboxCameraToLidar
