Модель датчика камеры с объективом в среде моделирования 3D
Инструментарий БПЛА/ 3D моделирования
Блок Simulation 3D Camera обеспечивает интерфейс с камерой с объективом в среде моделирования 3D. Эта среда визуализируется с помощью Unreal Engine ® от Epic Games ®. Сенсор основан на идеальной модели фотоаппарата, с добавленным объективом для представления полной модели фотоаппарата, включая искажение объектива. Эта модель камеры поддерживает поле обзора до 150 градусов. Дополнительные сведения см. в разделе Алгоритмы.
Если для параметра Sample time установлено значение -1блок использует время выборки, указанное в блоке «Моделирование» 3D «Конфигурация сцены». Чтобы использовать этот датчик, необходимо включить в модель блок «Моделирование» 3D «Конфигурация сцены».
Блок выводит изображения, полученные камерой во время моделирования. Эти изображения можно использовать для визуализации и проверки управляющих алгоритмов. Кроме того, на вкладке Истина основания можно выбрать опции для вывода данных истинности основания для разработки алгоритмов оценки глубины и семантической сегментации. Также можно вывести местоположение и ориентацию камеры в мировой системе координат сцены. На рисунке показан блок с включенными всеми портами.
В таблице приведены сводные данные о портах и способах их включения.
| Порт | Описание | Параметр для активизации порта | Пример визуализации |
|---|---|---|---|
Изображение | Вывод изображения RGB, снятого камерой | n/a |
|
Глубина | Выводит карту глубины со значениями от 0 м до 1000 метров | Глубина вывода |
|
Этикетки | Вывод семантической карты сегментации идентификаторов меток, соответствующих объектам в сцене | Семантическая сегментация выходных данных |
|
Местоположение | Вывод местоположения камеры в мировой системе координат | Местоположение выхода (м) и ориентация (рад) | n/a |
Ориентация | Вывод ориентации камеры в мировой системе координат | Местоположение выхода (м) и ориентация (рад) | n/a |
Примечание
Блок Simulation 3D Scene Configuration должен выполняться перед блоком Simulation 3D Camera. Таким образом, среда визуализации Unreal Engine 3D подготавливает данные до их получения блоком Simulation 3D Camera. Чтобы проверить порядок выполнения блока, щелкните его правой кнопкой мыши и выберите «Свойства». На вкладке Общие подтвердите следующие параметры приоритета:
Моделирование 3D Конфигурация сцены - 0
Имитация 3D Камера - 1
Дополнительные сведения о порядке выполнения см. в разделе Порядок выполнения блоков.
Sensor identifier - Уникальный идентификатор датчика1 (по умолчанию) | положительное целое числоУникальный идентификатор датчика, указанный как положительное целое число. В мультисенсорной системе идентификатор датчика различает датчики. При добавлении нового блока датчика в модель идентификатор датчика этого блока будет N + 1. N - наибольшее значение идентификатора датчика среди существующих блоков датчиков в модели.
Пример: 2
Parent name - Наименование родителя, на котором установлен датчикScene Origin (по умолчанию) | vehicle nameИмя родителя, к которому подключен датчик, указанное как Scene Origin или как название транспортного средства в модели. Имена транспортных средств, которые можно выбрать, соответствуют параметрам Наименование (Name) блоков Моделирование (Simulation) 3D Транспортное средство (Vehicle) в модели. При выборе Scene Originблок размещает датчик в начале сцены.
Пример: SimulinkVehicle1
Mounting location - Место установки датчикаOrigin (по умолчанию)Место установки датчика.
Когда имя родителя равно Scene Origin, блок устанавливает датчик в начало сцены, и положение установки может быть установлено в Origin только. Во время моделирования датчик остается неподвижным.
Если Parent name - имя транспортного средства (например, SimulinkVehicle1) блок устанавливает датчик в одно из предварительно определенных мест установки, описанных в таблице. Во время моделирования датчик перемещается вместе с транспортным средством.
| Место установки транспортного средства | Описание | Ориентация относительно начала координат транспортного средства [крен, шаг, рыскание] (град.) |
|---|---|---|
Origin | Датчик, установленный на начало координат транспортного средства, находящегося на земле, в геометрическом центре транспортного средства
| [0, 0, 0] |
Крен, шаг и рыскание являются положительными по часовой стрелке, если смотреть в положительном направлении по осям X, Y и Z соответственно. При взгляде на транспортное средство сверху вниз угол рыскания (то есть угол ориентации) против часовой стрелки-положительный, потому что вы смотрите в отрицательном направлении оси.
Расположение (X, Y, Z) датчика относительно транспортного средства зависит от типа транспортного средства. Для определения типа транспортного средства используется параметр Type блока Simulation 3D UAV Vehicle, на котором выполняется монтаж. Для получения информации о местах установки (X, Y, Z) для типа транспортного средства см. справочную страницу для данного транспортного средства.
Чтобы определить местоположение датчика в мировых координатах, откройте блок датчика. Затем на вкладке Ground Truth выберите Output location (m) and orientation (rad) и проверьте данные из выходного порта Location.
Specify offset - Указать смещение от места монтажаoff (по умолчанию) | onВыберите этот параметр, чтобы задать смещение от места монтажа с помощью параметров относительного перемещения [X, Y, Z] (m) и относительного поворота [Roll, Pitch, Yaw] (o).
Relative translation [X, Y, Z] (m) - Смещение перемещения относительно места монтажа[0, 0, 0] (по умолчанию) | действительный вектор 1 на 3Смещение перемещения относительно места установки датчика, определяемое как действительный вектор 1 на 3 вида [X, Y, Z]. Единицы в метрах.
Если установить датчик на транспортное средство, установив для параметра Имя родителя (Parent name) имя этого транспортного средства, то X, Y и Z находятся в системе координат транспортного средства, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает влево от транспортного средства, если смотреть вперед.
Ось Z указывает вверх.
Исходная точка - это место установки, указанное в параметре Место установки. Эта точка отсчета отличается от точки отсчета транспортного средства, которая является геометрическим центром транспортного средства.
Если установить датчик в начало координат сцены, установив для параметра «Родительское имя» значение Scene Originзатем X, Y и Z находятся в мировых координатах сцены.
Дополнительные сведения о системах координат транспортного средства и мира см. в разделе Системы координат для имитации нереального двигателя в инструментарии БПЛА.
Пример: [0,0,0.01]
Чтобы включить этот параметр, выберите Задать смещение (Specify offset).
Relative rotation [Roll, Pitch, Yaw] (deg) - Угловое смещение относительно места установки[0, 0, 0] (по умолчанию) | действительный вектор 1 на 3Смещение вращения относительно места установки датчика, определяемое как действительный вектор 1 на 3 формы [Roll, Pitch, Yaw]. Крен, шаг и рыскание - это углы поворота вокруг осей X, Y и Z. Единицы измерения в градусах.
Если установить датчик на транспортное средство, установив для параметра Имя родителя (Parent name) имя этого транспортного средства, то X, Y и Z находятся в системе координат транспортного средства, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает влево от транспортного средства, если смотреть вперед.
Ось Z указывает вверх.
Крен, шаг и рыскание являются положительными по часовой стрелке при взгляде в направлении вперед по осям X, Y и Z соответственно. Если смотреть сцену с 2D перспективы сверху вниз, то угол рыскания (также называемый углом ориентации) будет против часовой стрелки положительным, поскольку вы просматриваете сцену в отрицательном направлении оси Z.
Исходная точка - это место установки, указанное в параметре Место установки. Эта точка отсчета отличается от точки отсчета транспортного средства, которая является геометрическим центром транспортного средства.
Если установить датчик в начало координат сцены, установив для параметра «Родительское имя» значение Scene Originзатем X, Y и Z находятся в мировых координатах сцены.
Дополнительные сведения о системах координат транспортного средства и мира см. в разделе Системы координат для имитации нереального двигателя в инструментарии БПЛА.
Пример: [0,0,10]
Чтобы включить этот параметр, выберите Задать смещение (Specify offset).
Sample time - Время выборки-1 (по умолчанию) | положительный скалярВремя выборки блока в секундах, указанное как положительный скаляр. Частота кадров среды моделирования 3D является обратной времени выборки.
Если задать время выборки равным -1блок наследует время выборки из блока «Моделирование» 3D «Конфигурация сцены».
Эти внутренние параметры камеры эквивалентны свойствам cameraIntrinsics (Панель инструментов компьютерного зрения). Для получения собственных параметров камеры используйте приложение «Калибратор камеры».
Дополнительные сведения о процессе калибровки камеры см. в разделах Приложение для калибровки одной камеры (Computer Vision Toolbox) и Что такое калибровка камеры? (Панель инструментов компьютерного зрения).
Focal length (pixels) - Фокусное расстояние камеры[1109, 1109] (по умолчанию) | 1-на-2 положительный целочисленный векторФокусное расстояние камеры, определяемое как 1 на 2 положительный целочисленный вектор вида [fx, fy]. Единицы измерения выражены в пикселях.
fx = F × sx
fy = F × sy
где:
F - фокусное расстояние в мировых единицах, обычно миллиметрах.
[sx, sy] - количество пикселей в мировой единице в направлении x и y соответственно.
Этот параметр эквивалентен FocalLength (Панель инструментов компьютерного зрения) свойства cameraIntrinsics объект.
Optical center (pixels) - Оптический центр камеры[640, 360] (по умолчанию) | 1-на-2 положительный целочисленный векторОптический центр камеры, определяемый как положительный целочисленный вектор 1 на 2 вида [cx, cy]. Единицы измерения выражены в пикселях.
Этот параметр эквивалентен PrincipalPoint (Панель инструментов компьютерного зрения) свойства cameraIntrinsics объект.
Image size (pixels) - Размер изображения, создаваемого камерой[720, 1280] (по умолчанию) | 1-на-2 положительный целочисленный векторРазмер изображения, создаваемого камерой, задается как положительный целочисленный вектор 1 на 2 вида [mrows, ncols]. Единицы измерения выражены в пикселях.
Этот параметр эквивалентен ImageSize (Панель инструментов компьютерного зрения) свойства cameraIntrinsics объект.
Radial distortion coefficients - Коэффициенты радиального искажения[0, 0] (по умолчанию) | ненегативный вектор с действительным значением 1 на 2 | ненегативный вектор с действительным значением 1 на 3Коэффициенты радиального искажения, заданные как действительный вектор 1 на 2 или 1 на 3 неотрицательный. Радиальные искажения возникают, когда лучи света изгибаются больше, чем края линзы, чем в ее оптическом центре. Искажение больше, когда линза меньше. Блок вычисляет радиально искаженное расположение точки. Единицы измерения безразмерны.
Этот параметр эквивалентен RadialDistortion (Панель инструментов компьютерного зрения) свойства cameraIntrinsics объект.
Tangential distortion coefficients - Коэффициенты тангенциального искажения[0, 0] (по умолчанию) | ненегативный вектор с действительным значением 1 на 2Коэффициенты тангенциального искажения, заданные как действительный неотрицательный вектор 1 на 2. Касательное искажение происходит, когда объектив и плоскость изображения не параллельны. Координаты выражены в мировых единицах. Единицы измерения безразмерны.
Этот параметр эквивалентен TangentialDistortion (Панель инструментов компьютерного зрения) свойства cameraIntrinsics объект.
Axis skew - Угол наклона осей камеры0 (по умолчанию) | неотрицательный скалярУгол наклона осей камеры, заданный как неотрицательный скаляр. Если оси X и Y точно перпендикулярны, то наклон должен быть 0. Единицы измерения безразмерны.
Этот параметр эквивалентен Skew (Панель инструментов компьютерного зрения) свойства cameraIntrinsics объект.
Output depth - Карта глубины выводаoff (по умолчанию) | onВыберите этот параметр для вывода карты глубины в порт Depth.
Output semantic segmentation - Выходная карта семантической сегментации идентификаторов метокoff (по умолчанию) | onВыберите этот параметр для вывода семантической карты сегментации идентификаторов меток в порту Labels.
Output location (m) and orientation (rad) - Расположение и ориентация датчика на выходеoff (по умолчанию) | onВыберите этот параметр для вывода местоположения и ориентации датчика в портах Location и Orientation соответственно.
Для визуализации изображений с камеры, выводимых портом «Image», используйте блок «Video Viewer» (панель инструментов компьютерного зрения) или «To Video Display» (панель инструментов компьютерного зрения).
Сведения о том, как визуализировать карты глубины и семантической сегментации, выводимые портами «Глубина» и «Метки», см. в примере «Визуализация глубины и семантической сегментации с использованием моделирования нереального механизма».
Поскольку запуск Unreal Engine может занять много времени между моделированиями, рассмотрите возможность регистрации сигналов, выводимых датчиками. Затем эти данные можно использовать для разработки алгоритмов восприятия в MATLAB ®. См. раздел Настройка сигнала для регистрации (Simulink).
В блоке используется модель камеры, предложенная Жаном-Ивом Буге [1]. Модель включает в себя:
Модель камеры с микроотверстием не учитывает искажение объектива, поскольку идеальная камера с микроотверстием не имеет объектива. Для точного представления реальной камеры модель полной камеры, используемая блоком, включает радиальное и тангенциальное искажение объектива.
Дополнительные сведения см. в разделе Что такое калибровка камеры? (Панель инструментов компьютерного зрения)
[1] Буге, J. Y. Панель инструментов калибровки камеры для Matlab. http://www.vision.caltech.edu/bouguetj/calib_doc
[2] Чжан, З. «Гибкая новая методика калибровки камеры». Транзакции IEEE по анализу шаблонов и машинному интеллекту. т. 22, № 11, 2000, с. 1330-1334.
[3] Хейккила, Дж., и О. Сильвен. «Четырехэтапная процедура калибровки камеры с неявной коррекцией изображения». Международная конференция IEEE по компьютерному зрению и распознаванию образов. 1997.
cameraIntrinsics(Панель инструментов компьютерного зрения)