Модель датчика камеры Fisheye в среде моделирования 3D
Инструментарий БПЛА/ 3D моделирования
Блок Simulation 3D Fisheye Camera обеспечивает интерфейс с камерой с объективом fisheye в среде моделирования 3D. Эта среда визуализируется с помощью Unreal Engine ® от Epic Games ®. Сенсор основан на модели камеры рыбьего глаза, предложенной Scaramuzza [1]. Эта модель поддерживает поле зрения до 195 градусов. Блок выводит изображение с заданным искажением камеры и размером. Также можно вывести местоположение и ориентацию камеры в мировой системе координат сцены.
Если для параметра Sample time установлено значение -1блок использует время выборки, указанное в блоке «Моделирование» 3D «Конфигурация сцены». Чтобы использовать этот датчик, необходимо включить в модель блок «Моделирование» 3D «Конфигурация сцены».
Примечание
Блок Simulation 3D Scene Configuration должен выполняться перед блоком Simulation 3D Fisheye Camera. Таким образом, среда визуализации Unreal Engine 3D подготавливает данные до того, как блок Simulation 3D Fisheye Camera примет их. Чтобы проверить порядок выполнения блока, щелкните его правой кнопкой мыши и выберите «Свойства». На вкладке Общие подтвердите следующие параметры приоритета:
Моделирование 3D Конфигурация сцены - 0
Моделирование 3D камера подозрительного взгляда - 1
Дополнительные сведения о порядке выполнения см. в разделе Как работает моделирование нереального ядра для БПЛА.
Sensor identifier - Уникальный идентификатор датчика1 (по умолчанию) | положительное целое числоУникальный идентификатор датчика, указанный как положительное целое число. В мультисенсорной системе идентификатор датчика различает датчики. При добавлении нового блока датчика в модель идентификатор датчика этого блока будет N + 1. N - наибольшее значение идентификатора датчика среди существующих блоков датчиков в модели.
Пример: 2
Parent name - Наименование родителя, на котором установлен датчикScene Origin (по умолчанию) | vehicle nameИмя родителя, к которому подключен датчик, указанное как Scene Origin или как название транспортного средства в модели. Имена транспортных средств, которые можно выбрать, соответствуют параметрам Наименование (Name) блоков Моделирование (Simulation) 3D Транспортное средство (Vehicle) в модели. При выборе Scene Originблок размещает датчик в начале сцены.
Пример: SimulinkVehicle1
Mounting location - Место установки датчикаOrigin (по умолчанию)Место установки датчика.
Когда имя родителя равно Scene Origin, блок устанавливает датчик в начало сцены, и положение установки может быть установлено в Origin только. Во время моделирования датчик остается неподвижным.
Если Parent name - имя транспортного средства (например, SimulinkVehicle1) блок устанавливает датчик в одно из предварительно определенных мест установки, описанных в таблице. Во время моделирования датчик перемещается вместе с транспортным средством.
| Место установки транспортного средства | Описание | Ориентация относительно начала координат транспортного средства [крен, шаг, рыскание] (град.) |
|---|---|---|
Origin | Датчик, установленный на начало координат транспортного средства, находящегося на земле, в геометрическом центре транспортного средства
| [0, 0, 0] |
Крен, шаг и рыскание являются положительными по часовой стрелке, если смотреть в положительном направлении по осям X, Y и Z соответственно. При взгляде на транспортное средство сверху вниз угол рыскания (то есть угол ориентации) против часовой стрелки-положительный, потому что вы смотрите в отрицательном направлении оси.
Расположение (X, Y, Z) датчика относительно транспортного средства зависит от типа транспортного средства. Для определения типа транспортного средства используется параметр Type блока Simulation 3D UAV Vehicle, на котором выполняется монтаж. Для получения информации о местах установки (X, Y, Z) для типа транспортного средства см. справочную страницу для данного транспортного средства.
Чтобы определить местоположение датчика в мировых координатах, откройте блок датчика. Затем на вкладке Ground Truth выберите Output location (m) and orientation (rad) и проверьте данные из выходного порта Location.
Specify offset - Указать смещение от места монтажаoff (по умолчанию) | onВыберите этот параметр, чтобы задать смещение от места монтажа с помощью параметров относительного перемещения [X, Y, Z] (m) и относительного поворота [Roll, Pitch, Yaw] (o).
Relative translation [X, Y, Z] (m) - Смещение перемещения относительно места монтажа[0, 0, 0] (по умолчанию) | действительный вектор 1 на 3Смещение перемещения относительно места установки датчика, определяемое как действительный вектор 1 на 3 вида [X, Y, Z]. Единицы в метрах.
Если установить датчик на транспортное средство, установив для параметра Имя родителя (Parent name) имя этого транспортного средства, то X, Y и Z находятся в системе координат транспортного средства, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает влево от транспортного средства, если смотреть вперед.
Ось Z указывает вверх.
Исходная точка - это место установки, указанное в параметре Место установки. Эта точка отсчета отличается от точки отсчета транспортного средства, которая является геометрическим центром транспортного средства.
Если установить датчик в начало координат сцены, установив для параметра «Родительское имя» значение Scene Originзатем X, Y и Z находятся в мировых координатах сцены.
Дополнительные сведения о системах координат транспортного средства и мира см. в разделе Системы координат для имитации нереального двигателя в инструментарии БПЛА.
Пример: [0,0,0.01]
Чтобы включить этот параметр, выберите Задать смещение (Specify offset).
Relative rotation [Roll, Pitch, Yaw] (deg) - Угловое смещение относительно места установки[0, 0, 0] (по умолчанию) | действительный вектор 1 на 3Смещение вращения относительно места установки датчика, определяемое как действительный вектор 1 на 3 формы [Roll, Pitch, Yaw]. Крен, шаг и рыскание - это углы поворота вокруг осей X, Y и Z. Единицы измерения в градусах.
Если установить датчик на транспортное средство, установив для параметра Имя родителя (Parent name) имя этого транспортного средства, то X, Y и Z находятся в системе координат транспортного средства, где:
Ось X указывает вперед от транспортного средства.
Ось Y указывает влево от транспортного средства, если смотреть вперед.
Ось Z указывает вверх.
Крен, шаг и рыскание являются положительными по часовой стрелке при взгляде в направлении вперед по осям X, Y и Z соответственно. Если смотреть сцену с 2D перспективы сверху вниз, то угол рыскания (также называемый углом ориентации) будет против часовой стрелки положительным, поскольку вы просматриваете сцену в отрицательном направлении оси Z.
Исходная точка - это место установки, указанное в параметре Место установки. Эта точка отсчета отличается от точки отсчета транспортного средства, которая является геометрическим центром транспортного средства.
Если установить датчик в начало координат сцены, установив для параметра «Родительское имя» значение Scene Originзатем X, Y и Z находятся в мировых координатах сцены.
Дополнительные сведения о системах координат транспортного средства и мира см. в разделе Системы координат для имитации нереального двигателя в инструментарии БПЛА.
Пример: [0,0,10]
Чтобы включить этот параметр, выберите Задать смещение (Specify offset).
Sample time - Время выборки-1 (по умолчанию) | положительный скалярВремя выборки блока в секундах, указанное как положительный скаляр. Частота кадров среды моделирования 3D является обратной времени выборки.
Если задать время выборки равным -1блок наследует время выборки из блока «Моделирование» 3D «Конфигурация сцены».
Эти внутренние параметры камеры эквивалентны свойствам fisheyeIntrinsics (Панель инструментов компьютерного зрения). Для получения собственных параметров камеры используйте приложение «Калибратор камеры».
Дополнительные сведения о процессе калибровки камеры «рыбий глаз» см. в разделах Приложение «Калибратор одной камеры» (Computer Vision Toolbox) и «Основы калибровки» (Computer Vision Toolbox).
Distortion center (pixels) - Центр искажения[640, 360] (по умолчанию) | действительный вектор 1 на 2Центр искажения, заданный как действительный 2-элементный вектор. Единицы измерения выражены в пикселях.
Image size (pixels) - Размер изображения, создаваемого камерой[720, 1280] (по умолчанию) | действительный вектор 1 на 2 положительных целых чиселРазмер изображения, создаваемого камерой, определяемый как действительный вектор 1 на 2 положительных целых чисел вида [mrows, ncols]. Единицы измерения выражены в пикселях .
Mapping coefficients - Полиномиальные коэффициенты для проекционной функции[320, 0, 0, 0] (по умолчанию) | действительный вектор 1 на 4Stretch matrix - Преобразует точку из плоскости датчика в плоскость камеры[1, 0; 0, 1] (по умолчанию) | вещественная матрица 2 на 2Преобразует точку из плоскости датчика в пиксель в плоскости изображения камеры. Смещение происходит во время процесса оцифровки, когда линза не параллельна датчику.
Пример: [0, 1; 0, 1]
Output location (m) and orientation (rad) - Расположение и ориентация датчика на выходеoff (по умолчанию) | onВыберите этот параметр для вывода местоположения и ориентации датчика в портах Location и Orientation соответственно.
Для визуализации изображений с камеры, выводимых портом «Image», используйте блок «Video Viewer» (панель инструментов компьютерного зрения) или «To Video Display» (панель инструментов компьютерного зрения).
Поскольку запуск Unreal Engine может занять много времени между моделированиями, рассмотрите возможность регистрации сигналов, выводимых датчиками. Затем эти данные можно использовать для разработки алгоритмов восприятия в MATLAB ®. См. раздел Настройка сигнала для регистрации (Simulink).
[1] Скарамуцца, Д., А. Мартинелли и Р. Зигварт. «Набор инструментов для простой калибровки однонаправленных камер». Материалы Международной конференции IEEE по интеллектуальным роботам и системам (IROS 2006). Пекин, Китай, 7-15 октября 2006 года.
fisheyeIntrinsics(Панель инструментов компьютерного зрения)