Лидар - акроним для обнаружения света и ранжирования. Это система активного зондирования, которая может использоваться для восприятия, навигации и картирования передовых систем помощи вождению (ADAS), роботов и беспилотных летательных аппаратов (БПЛА).
Лидар является активной системой дистанционного зондирования. В активной системе датчик сам вырабатывает энергию. Датчики Лидара излучают лазерные импульсы, которые отражаются от объектов, позволяя им воспринимать структуру своего окружения. Датчики регистрируют энергию отраженного света для определения расстояний до объектов. Расчет расстояния основан на принципе времени полета (TOF). Датчики Лидара сравнимы с радиолокационными датчиками, которые излучают радиоволны.
Большинство современных автономных или полуавтономных транспортных средств оснащены сенсорными комплектами, которые содержат множество датчиков, таких как камера, IMU и радар. Лидарные датчики могут устранить недостатки некоторых из этих других датчиков. Радиолокационные датчики могут обеспечивать постоянные измерения расстояния и скорости, но результаты не имеют разрешения, и у них возникают проблемы с отраженной энергией и точностью на более длинных диапазонах. На датчики камеры могут оказывать значительное влияние условия окружающей среды и освещения. Датчики Lidar решают эти проблемы, обеспечивая способность восприятия глубины на больших расстояниях, даже в сложных погодных условиях и условиях освещения.
В отрасли имеется множество лидарных датчиков от таких компаний, как Velodyne, Ouster, Quanergy и Ibeo. Эти датчики генерируют данные лидара в различных форматах. В настоящее время Lidar Toolbox™ поддерживает считывание данных в форматах датчиков PLY, PCAP, PCD, LAS, LAZ и Ibeo. Дополнительные сведения см. в разделе Ввод-вывод. Дополнительные сведения о потоковой передаче данных с датчиков Velodine ® см. в разделе Поддерживаемое аппаратное обеспечение Lidar Toolbox.
Облако точек - это представление выходных данных лидарного датчика, аналогично тому, как изображение является представлением выходных данных камеры. Это большая коллекция точек, которые описывают 3-D карту окружающей среды вокруг датчика. Вы можете использовать pointCloud объект для хранения данных облака точек. Lidar Toolbox обеспечивает базовую обработку облаков точек, таких как понижение дискретизации, фильтрация медианы, выравнивание, преобразование и извлечение элементов из облаков точек. Дополнительные сведения см. в разделе Предварительная обработка.
Существует два типа точечных облаков: организованные и неорганизованные. Они описывают данные облака точек, хранящиеся произвольным образом или структурированным образом. Организованное облако точек напоминает матрицу 2-D, где данные делятся на строки и столбцы. Данные делятся в соответствии с пространственным соотношением между точками. В результате компоновка памяти организованного облака точек относится к пространственной компоновке, представленной координатами xyz его точек. Напротив, неорганизованные облака точек хранятся как один поток 3-D координат, каждый из которых представляет одну точку. Неорганизованные облака точек можно преобразовать в организованные облака точек с помощью рабочего процесса «Неорганизованное преобразование облаков точек с помощью сферической проекции».
Можно также дифференцировать эти облака точек в зависимости от формы их данных. Организованные облака точек задаются как массивы M-by-N-by-3. Три канала представляют координаты x, y и z точек. Неорганизованные облака точек задаются как матрицы M-by-3, где M - общее количество точек в облаке точек.
Это некоторые из основных приложений обработки лидара:
Маркировка данных облака точек - маркировка объектов в облаках точек помогает организовать и проанализировать данные. Помеченные облака точек можно использовать для обучения моделей сегментации и обнаружения объектов. Дополнительные сведения о маркировке см. в разделе Начало работы с Lidar Labeler.
Семантическая сегментация - семантическая сегментация - это процесс маркировки конкретных областей облака точек как принадлежащих объекту. Целью процесса является связывание каждой точки в облаке точек с соответствующим классом или меткой, таким как автомобиль, грузовик или растительность в сценарии вождения. Он не различает несколько экземпляров объектов одного класса. Модели семантической сегментации могут использоваться в приложениях автономного вождения для анализа окружающей среды транспортного средства. Дополнительные сведения о процессе семантической сегментации см. в разделе Семантическая сегментация Lidar Point Cloud с использованием SqueezeSegV2 Deep Learning Network.
Обнаружение и отслеживание объектов - обнаружение и отслеживание объектов обычно следует сегментации облака точек. Объекты в облаке точек могут быть обнаружены и представлены с помощью кубовидных ограничивающих прямоугольников. Отслеживание - это процесс идентификации обнаруженных объектов в одном кадре последовательности облаков точек по всей последовательности облаков точек. Подробные сведения о полном процессе сегментации, обнаружения и отслеживания см. в разделе Обнаружение, классификация и отслеживание транспортных средств с помощью Lidar.
Калибровка камеры Лидар (Lidar Camera calibration) - благодаря позиционным различиям датчиков в наборе датчиков, записанные данные от каждого датчика находятся в разной системе координат. Ротационные и поступательные преобразования необходимы для калибровки и сплавления данных с этих датчиков друг с другом. Дополнительные сведения см. в разделе Что такое калибровка камеры Lidar?.