Создание визуальных обнаружений для сценария вождения
visionDetectionGenerator Система object™ генерирует сигналы обнаружения от датчика монокулярной камеры, установленного на эго-транспортном средстве. Все обнаружения относятся к системе координат эго-транспортного средства или установленного на транспортном средстве датчика. Вы можете использовать visionDetectionGenerator объект в сценарии, содержащем актеры и траектории, которые можно создать с помощью drivingScenario объект. Используя статистический режим, генератор может моделировать реальные обнаружения с добавлением случайного шума, а также генерировать ложные аварийные обнаружения. Кроме того, можно использовать visionDetectionGenerator объект для создания входных данных в multiObjectTracker. При построении сценариев с помощью приложения Driving Script Designer датчики камеры, установленные на эго-транспортном средстве, выводятся как visionDetectionGenerator объекты.
Для создания визуальных обнаружений:
Создать visionDetectionGenerator и задайте его свойства.
Вызовите объект с аргументами, как если бы это была функция.
Дополнительные сведения о работе системных объектов см. в разделе Что такое системные объекты?.
sensor = visionDetectionGenerator
sensor = visionDetectionGenerator(cameraConfig)monoCamera объект конфигурации, cameraConfig.
sensor = visionDetectionGenerator(Name,Value)visionDetectionGenerator('DetectionCoordinates','Sensor Cartesian','MaxRange',200) создает генератор обнаружения видения, который сообщает об обнаружениях в декартовой системе координат датчика и имеет максимальный диапазон обнаружения 200 метров. Заключите каждое имя свойства в кавычки.
dets = sensor(actors,time)dets, по результатам измерений датчиков actors при текущем моделировании time. Объект может генерировать детекции датчиков для нескольких субъектов одновременно. Не включайте эго-машину в качестве одного из актеров.
Чтобы включить этот синтаксис, установите DetectionOutput кому 'Objects only'.
lanedets = sensor(laneboundaries,time)lanedets, от структур границ полосы движения, laneboundaries.
Включение этого набора синтаксиса DetectionOutput кому 'Lanes only'. Детектор полосы генерирует границы полосы с интервалами, определенными LaneUpdateInterval собственность.
lanedets = sensor(actors,laneboundaries,time)lanedets, от структур границ полосы движения, laneboundaries.
Чтобы включить этот синтаксис, установите DetectionOutput кому 'Lanes with occlusion'. Детектор полосы генерирует границы полосы с интервалами, определенными LaneUpdateInterval собственность.
[___, также возвращает количество зарегистрированных действительных обнаружений, numValidDets] = sensor(___)numValidDets.
[___, также возвращает логическое значение, numValidDetsisValidTime] = sensor(___)isValidTime, указывая, что UpdateInterval истекло время для генерации обнаружений.
[ возвращает оба обнаружения объектов, dets,numValidDets,isValidTime,lanedets,numValidLaneDets,isValidLaneTime] = sensor(actors,laneboundaries,time)detsи обнаружения полос движения lanedets. Этот синтаксис также возвращает количество зарегистрированных действительных обнаружений полосы движения, numValidLaneDetsи флаг, isValidLaneTime, указывающее, прошло ли необходимое время моделирования для генерации обнаружений полосы движения.
Чтобы включить этот синтаксис, установите DetectionOutput кому 'Lanes and objects'.
Чтобы использовать функцию объекта, укажите объект System в качестве первого входного аргумента. Например, для освобождения системных ресурсов объекта System с именем obj, используйте следующий синтаксис:
release(obj)
Создание обнаружений с помощью датчика зрения автомобиля, установленного на эго-автомобиле. Предположим, что существуют два целевых транспортного средства:
Транспортное средство 1 находится непосредственно перед эго-транспортным средством и движется с одинаковой скоростью.
Транспортное средство 2 движется быстрее, чем эго-транспортное средство на 12 км/ч по левой полосе.
Все положения, скорости и измерения относятся к эго-транспортному средству. Выполните моделирование в течение десяти шагов.
dt = 0.1; car1 = struct('ActorID',1,'Position',[100 0 0],'Velocity', [5*1000/3600 0 0]); car2 = struct('ActorID',2,'Position',[150 10 0],'Velocity',[12*1000/3600 0 0]);
Создайте автомобильный датчик зрения, имеющий смещение местоположения от эго-транспортного средства. По умолчанию местоположение датчика находится на расстоянии (3,4,0) метров от центра транспортного средства и на высоте 1,1 метра над плоскостью земли.
sensor = visionDetectionGenerator('DetectionProbability',1, ... 'MinObjectImageSize',[5 5],'MaxRange',200,'DetectionCoordinates','Sensor Cartesian'); tracker = multiObjectTracker('FilterInitializationFcn',@initcvkf, ... 'ConfirmationParameters',[3 4],'NumCoastingUpdates',6);
Создание визуальных обнаружений для субъектов, не являющихся эго, по мере их перемещения. Обнаруженные выходные данные образуют массив ячеек. Извлекать только информацию о положении из обнаружений для передачи в multiObjectTracker, которая ожидает только информацию о позиции. Обновление трекера для каждого нового набора обнаружений.
simTime = 0; nsteps = 10; for k = 1:nsteps dets = sensor([car1 car2],simTime); n = size(dets,1); for k = 1:n meas = dets{k}.Measurement(1:3); dets{k}.Measurement = meas; measmtx = dets{k}.MeasurementNoise(1:3,1:3); dets{k}.MeasurementNoise = measmtx; end [confirmedTracks,tentativeTracks,allTracks] = updateTracks(tracker,dets,simTime); simTime = simTime + dt; car1.Position = car1.Position + dt*car1.Velocity; car2.Position = car2.Position + dt*car2.Velocity; end
Использовать birdsEyePlot для создания верхнего ракурса обнаружений. Постройте график зоны действия датчика. Извлеките положения x и y целей путем преобразования Measurement поля ячейки в массив MATLAB ®. Затем постройте график обнаружений с помощьюbirdsEyePlot функции.
BEplot = birdsEyePlot('XLim',[0 220],'YLim',[-75 75]); caPlotter = coverageAreaPlotter(BEplot,'DisplayName','Vision Coverage Area'); plotCoverageArea(caPlotter,sensor.SensorLocation,sensor.MaxRange, ... sensor.Yaw,sensor.FieldOfView(1)) detPlotter = detectionPlotter(BEplot,'DisplayName','Vision Detections'); detPos = cellfun(@(d)d.Measurement(1:2),dets,'UniformOutput',false); detPos = cell2mat(detPos')'; if ~isempty(detPos) plotDetection(detPlotter,detPos) end
Создайте датчик зрения, используя конфигурацию монокулярной камеры, и создайте сигналы обнаружения от этого датчика.
Укажите внутренние параметры камеры и создайте monoCamera объект из этих параметров. Камера установлена поверх эго-автомобиля на высоте 1,5 метра над землей и с шагом 1 градус к земле.
focalLength = [800 800];
principalPoint = [320 240];
imageSize = [480 640];
intrinsics = cameraIntrinsics(focalLength,principalPoint,imageSize);
height = 1.5;
pitch = 1;
monoCamConfig = monoCamera(intrinsics,height,'Pitch',pitch);Создайте генератор обнаружения видения с использованием конфигурации монокулярной камеры.
visionSensor = visionDetectionGenerator(monoCamConfig);
Создайте сценарий вождения с использованием эго-транспортного средства и двух целевых автомобилей. Разместите первый целевой автомобиль на 30 метров прямо перед эго-автомобилем. Расположите второй целевой автомобиль на 20 метров перед эго-транспортным средством, но смещенный влево на 3 метра.
scenario = drivingScenario; egoVehicle = vehicle(scenario,'ClassID',1); targetCar1 = vehicle(scenario,'ClassID',1,'Position',[30 0 0]); targetCar2 = vehicle(scenario,'ClassID',1,'Position',[20 3 0]);
Используйте график «птичий глаз» для отображения контуров транспортного средства и зоны действия датчика.
figure bep = birdsEyePlot('XLim',[0 50],'YLim',[-20 20]); olPlotter = outlinePlotter(bep); [position,yaw,length,width,originOffset,color] = targetOutlines(egoVehicle); plotOutline(olPlotter,position,yaw,length,width); caPlotter = coverageAreaPlotter(bep,'DisplayName','Coverage area','FaceColor','blue'); plotCoverageArea(caPlotter,visionSensor.SensorLocation,visionSensor.MaxRange, ... visionSensor.Yaw,visionSensor.FieldOfView(1))
Получите позы целевых автомобилей с точки зрения эго-транспортного средства. Используйте эти позы для генерации обнаружений от датчика.
poses = targetPoses(egoVehicle); [dets,numValidDets] = visionSensor(poses,scenario.SimulationTime);
Отображение позиций (X, Y) допустимых обнаружений. Для каждого обнаружения положения (X, Y) являются первыми двумя значениями Measurement поле.
for i = 1:numValidDets XY = dets{i}.Measurement(1:2); detXY = sprintf('Detection %d: X = %.2f meters, Y = %.2f meters',i,XY); disp(detXY) end
Detection 1: X = 19.09 meters, Y = 2.79 meters Detection 2: X = 27.81 meters, Y = 0.08 meters
Создайте сценарий движения, содержащий эго-транспортное средство и целевое транспортное средство, движущееся по трехполосной дороге. Определите границы полосы движения с помощью генератора обнаружения изображения.
scenario = drivingScenario;
Создайте трехполосную дорогу, используя спецификации полос движения.
roadCenters = [0 0 0; 60 0 0; 120 30 0];
lspc = lanespec(3);
road(scenario,roadCenters,'Lanes',lspc);
Укажите, что эго-транспортное средство следует по центральной полосе со скоростью 30 м/с.
egovehicle = vehicle(scenario,'ClassID',1);
egopath = [1.5 0 0; 60 0 0; 111 25 0];
egospeed = 30;
smoothTrajectory(egovehicle,egopath,egospeed);
Укажите, что целевое транспортное средство движется впереди эго-транспортного средства со скоростью 40 м/с и изменяет полосы движения вблизи эго-транспортного средства.
targetcar = vehicle(scenario,'ClassID',1);
targetpath = [8 2; 60 -3.2; 120 33];
targetspeed = 40;
smoothTrajectory(targetcar,targetpath,targetspeed);
Отображение графика погони для 3-D вида сценария из-за эго-транспортного средства.
chasePlot(egovehicle)
Создайте генератор обнаружения изображений для обнаружения полос движения и объектов. Шаг датчика указывает на один градус вниз.
visionSensor = visionDetectionGenerator('Pitch',1.0); visionSensor.DetectorOutput = 'Lanes and objects'; visionSensor.ActorProfiles = actorProfiles(scenario);
Запустите моделирование.
Создайте график птичьего глаза и связанные с ним плоттеры.
Отображение зоны действия датчика.
Отображение разметки полосы движения.
Получить наземные истинные позы целей на дороге.
Получить идеальные граничные точки полосы до 60 м вперед.
Создание обнаружений по идеальным позициям цели и границам полос движения.
Отображение контура цели.
Отображение обнаружений объектов, если обнаружение объектов допустимо.
Отображение границы полосы движения при допустимом обнаружении полосы движения.
bep = birdsEyePlot('XLim',[0 60],'YLim',[-35 35]); caPlotter = coverageAreaPlotter(bep,'DisplayName','Coverage area', ... 'FaceColor','blue'); detPlotter = detectionPlotter(bep,'DisplayName','Object detections'); lmPlotter = laneMarkingPlotter(bep,'DisplayName','Lane markings'); lbPlotter = laneBoundaryPlotter(bep,'DisplayName', ... 'Lane boundary detections','Color','red'); olPlotter = outlinePlotter(bep); plotCoverageArea(caPlotter,visionSensor.SensorLocation,... visionSensor.MaxRange,visionSensor.Yaw, ... visionSensor.FieldOfView(1)); while advance(scenario) [lmv,lmf] = laneMarkingVertices(egovehicle); plotLaneMarking(lmPlotter,lmv,lmf) tgtpose = targetPoses(egovehicle); lookaheadDistance = 0:0.5:60; lb = laneBoundaries(egovehicle,'XDistance',lookaheadDistance,'LocationType','inner'); [obdets,nobdets,obValid,lb_dets,nlb_dets,lbValid] = ... visionSensor(tgtpose,lb,scenario.SimulationTime); [objposition,objyaw,objlength,objwidth,objoriginOffset,color] = targetOutlines(egovehicle); plotOutline(olPlotter,objposition,objyaw,objlength,objwidth, ... 'OriginOffset',objoriginOffset,'Color',color) if obValid detPos = cellfun(@(d)d.Measurement(1:2),obdets,'UniformOutput',false); detPos = vertcat(zeros(0,2),cell2mat(detPos')'); plotDetection(detPlotter,detPos) end if lbValid plotLaneBoundary(lbPlotter,vertcat(lb_dets.LaneBoundaries)) end end
Генерируйте детекторы от идеального датчика зрения и сравнивайте их с детекторами от шумного датчика. Идеальный датчик - это датчик, который всегда генерирует сигналы обнаружения, без ложных срабатываний и без добавленного случайного шума.
Создание сценария управления
Создайте сценарий вождения, в котором эго-автомобиль располагается перед диагональным массивом целевых автомобилей. С помощью этой конфигурации можно позже построить график ковариаций измеренного шума обнаруженных целей, не закрывая друг друга целевыми автомобилями.
scenario = drivingScenario; egoVehicle = vehicle(scenario,'ClassID',1); numTgts = 6; x = linspace(20,50,numTgts)'; y = linspace(-20,0,numTgts)'; x = [x;x(1:end-1)]; y = [y;-y(1:end-1)]; numTgts = numel(x); for m = 1:numTgts vehicle(scenario,'ClassID',1,'Position',[x(m) y(m) 0]); end
Постройте сценарий вождения на графике птичьего глаза.
bep = birdsEyePlot('XLim',[0 60]); legend('hide') olPlotter = outlinePlotter(bep); [position,yaw,length,width,originOffset,color] = targetOutlines(egoVehicle); plotOutline(olPlotter,position,yaw,length,width, ... 'OriginOffset',originOffset,'Color',color)
Создание идеального датчика зрения
Создайте датчик зрения с помощью visionDetectionGenerator object™ системы. Для создания идеальных обнаружений установите DetectionProbability кому 1, FalsePositivesPerImage кому 0, и HasNoise кому false.
DetectionProbability = 1 - Датчик всегда генерирует сигналы обнаружения для цели, если цель не перекрыта и соответствует ограничениям дальности, скорости и размера изображения.
FalsePositivesPerImage = 0 - Датчик генерирует сигналы обнаружения только от реальных целей в сценарии вождения.
HasNoise = false - Датчик не добавляет случайный шум к зарегистрированному положению и скорости цели. Тем не менее, objectDetection объекты, возвращаемые датчиком, имеют измеренные значения шума, установленные для дисперсии шума, которая была бы добавлена, если бы HasNoise были true. С помощью этих значений шума можно обрабатывать идеальные обнаружения с помощью multiObjectTracker. Этот метод полезен для анализа задержки маневра без необходимости выполнения трудоемких имитаций Монте-Карло.
idealSensor = visionDetectionGenerator( ... 'SensorIndex',1, ... 'UpdateInterval',scenario.SampleTime, ... 'SensorLocation',[0.75*egoVehicle.Wheelbase 0], ... 'Height',1.1, ... 'Pitch',0, ... 'Intrinsics',cameraIntrinsics(800,[320 240],[480 640]), ... 'BoundingBoxAccuracy',50, ... % Make the noise large for illustrative purposes 'ProcessNoiseIntensity',5, ... 'MaxRange',60, ... 'DetectionProbability',1, ... 'FalsePositivesPerImage',0, ... 'HasNoise',false, ... 'ActorProfiles',actorProfiles(scenario))
idealSensor =
visionDetectionGenerator with properties:
SensorIndex: 1
UpdateInterval: 0.0100
SensorLocation: [2.1000 0]
Height: 1.1000
Yaw: 0
Pitch: 0
Roll: 0
Intrinsics: [1x1 cameraIntrinsics]
DetectorOutput: 'Objects only'
FieldOfView: [43.6028 33.3985]
MaxRange: 60
MaxSpeed: 100
MaxAllowedOcclusion: 0.5000
MinObjectImageSize: [15 15]
DetectionProbability: 1
FalsePositivesPerImage: 0
Show all properties
Постройте график зоны покрытия идеального датчика зрения.
legend('show') caPlotter = coverageAreaPlotter(bep,'DisplayName','Coverage area','FaceColor','blue'); mountPosition = idealSensor.SensorLocation; range = idealSensor.MaxRange; orientation = idealSensor.Yaw; fieldOfView = idealSensor.FieldOfView(1); plotCoverageArea(caPlotter,mountPosition,range,orientation,fieldOfView);
Имитация обнаружения идеального видения
Получить позиции целей. Позиции находятся в координатах эго-транспортного средства.
gTruth = targetPoses(egoVehicle);
Создание обнаружений с временной меткой. Эти обнаружения возвращаются в виде массива ячеек objectDetection объекты.
time = scenario.SimulationTime; dets = idealSensor(gTruth,time);
Проверьте дисперсию шума измерений и измерений при первом (крайнем левом) обнаружении. Несмотря на то, что обнаружение является идеальным и поэтому не имеет добавленного случайного шума, MeasurementNoise свойство показывает значения, как если бы обнаружение действительно имело шум.
dets{1}.Measurementans = 6×1
31.0000
-11.2237
0
0
0
0
dets{1}.MeasurementNoiseans = 6×6
1.5427 -0.5958 0 0 0 0
-0.5958 0.2422 0 0 0 0
0 0 100.0000 0 0 0
0 0 0 0.5398 -0.1675 0
0 0 0 -0.1675 0.1741 0
0 0 0 0 0 100.0000
Постройте график идеальных обнаружений и эллипсов для контура 2-сигма ковариации шума измерения.
pos = cell2mat(cellfun(@(d)d.Measurement(1:2)',dets, ... 'UniformOutput',false)); cov = reshape(cell2mat(cellfun(@(d)d.MeasurementNoise(1:2,1:2),dets, ... 'UniformOutput',false))',2,2,[]); plotter = trackPlotter(bep,'DisplayName','Ideal detections', ... 'MarkerEdgeColor','blue','MarkerFaceColor','blue'); sigma = 2; plotTrack(plotter,pos,sigma^2*cov)
Моделирование обнаружений шума для сравнения
Создайте шумный датчик на основе свойств идеального датчика.
noisySensor = clone(idealSensor); release(noisySensor) noisySensor.HasNoise = true;
Восстановите исходное состояние сценария управления.
restart(scenario)
Сбор статистики по обнаружениям шума.
numMonte = 1e3; pos = []; for itr = 1:numMonte time = scenario.SimulationTime; dets = noisySensor(gTruth,time); % Save noisy measurements pos = [pos;cell2mat(cellfun(@(d)d.Measurement(1:2)',dets,'UniformOutput',false))]; advance(scenario); end
Постройте график шумных обнаружений.
plotter = detectionPlotter(bep,'DisplayName','Noisy detections', ... 'Marker','.','MarkerEdgeColor','red','MarkerFaceColor','red'); plotDetection(plotter,pos)
drivingRadarDataGenerator | drivingScenario | insSensor | laneMarking | lanespec | lidarPointCloudGenerator | monoCamera | multiObjectTracker | objectDetection