Обзор

Достоверные данные обычно доступны в координатах изображений, тогда как контуры моделируются в системе координат транспортного средства. Сравнение этих двух включает координатное преобразование и таким образом требует дополнительного ухода в интерпретации результатов. Ведущие решения основаны на расстояниях в системе координат транспортного средства. Поэтому более полезно описать и изучить требования точности с помощью физических единиц измерения в координатах транспортного средства, а не пиксельных координатах.

MonoCameraExample описывает внутренности монокулярного датчика камеры и процесс моделирования контуров маршрута. В этом примере показано, как оценить точность этих моделей против вручную подтвержденных достоверных данных. После установления среды сравнения среда расширена, чтобы подстроить параметры граничного алгоритма обнаружения для оптимальной эффективности.

Загрузите и подготовьте достоверные данные

Можно использовать приложение Ground Truth Labeler, чтобы отметить и пометить контуры маршрута в видео. Эти аннотируемые контуры маршрута представлены как наборы точек, помещенные вдоль контуров интереса. Наличие богатого набора вручную аннотируемых контуров маршрута для различных ведущих сценариев очень важно в оценке и подстройке автоматических алгоритмов обнаружения контура маршрута. Пример подан для caltech_cordova1.avi видеофайл доступен с тулбоксом.

Загрузите предопределенные левые и правые контуры маршрута эго, заданные в координатах изображений. Каждый контур представлен набором чисел M-2, представляющих M пиксельные местоположения вдоль того контура. Каждый видеокадр имеет самое большее два таких набора, представляющие левый и правый маршрут.

loaded = load('caltech_cordova1_EgoBoundaries.mat');
sensor = loaded.sensor; % Associated monoCamera object
gtImageBoundaryPoints = loaded.groundTruthData.EgoLaneBoundaries;

% Show a sample of the ground truth at this frame index
frameInd = 36;

% Load the video frame
frameTimeStamp = seconds(loaded.groundTruthData(frameInd,:).Time);
videoReader = VideoReader(loaded.videoName);
videoReader.CurrentTime = frameTimeStamp;
frame = videoReader.readFrame();

% Obtain the left lane points for this frame
boundaryPoints = gtImageBoundaryPoints{frameInd};
leftLanePoints = boundaryPoints{1};

figure
imshow(frame)
hold on
plot(leftLanePoints(:,1), leftLanePoints(:,2),'+','MarkerSize',10,'LineWidth',4);
title('Sample Ground Truth Data for Left Lane Boundary');

Преобразуйте точки основной истины от координат изображений, чтобы транспортировать координаты, чтобы допускать прямое сравнение с граничными моделями. Чтобы выполнить это преобразование, используйте imageToVehicle функция со связанным monoCamera объект выполнить это преобразование.

gtVehicleBoundaryPoints = cell(numel(gtImageBoundaryPoints),1);
for frameInd = 1:numel(gtImageBoundaryPoints)
    boundaryPoints   = gtImageBoundaryPoints{frameInd};
    if ~isempty(boundaryPoints)
        ptsInVehicle = cell(1, numel(boundaryPoints));
        for cInd = 1:numel(boundaryPoints)
            ptsInVehicle{cInd} = imageToVehicle(sensor, boundaryPoints{cInd});
        end
        gtVehicleBoundaryPoints{frameInd} = ptsInVehicle;
    end
end

Контуры маршрута модели Используя монокулярный датчик

Запустите контур маршрута моделирование алгоритма на демонстрационном видео, чтобы получить тестовые данные для сравнения. Здесь, снова используйте helperMonoSensor модуль введен в Визуальном Восприятии Используя Монокулярный пример Камеры. При обработке видео дополнительный шаг необходим, чтобы возвратить обнаруженные граничные модели. Эта логика перенесена в функцию помощника, detectBoundaries, заданный в конце этого примера.

monoSensor  = helperMonoSensor(sensor);
boundaries  = detectBoundaries(loaded.videoName, monoSensor);

Оцените модели контура маршрута

Используйте evaluateLaneBoundaries функционируйте, чтобы найти количество контуров, которые совпадают с теми контурами в основной истине. Основная истина присвоена тестовому контуру, только если все точки основной истины на заданном расстоянии, со стороны, от соответствующего тестового контура. Если несколько контуров основной истины удовлетворяют этому критерию, тот с наименьшим максимальным боковым расстоянием выбран. Другие отмечены как ложные положительные стороны.

threshold = 0.25; % in vehicle coordinates (meters)
[numMatches, numMisses, numFalsePositives, assignments] = ...
    evaluateLaneBoundaries(boundaries, gtVehicleBoundaryPoints, threshold);
disp(['Number of matches: ', num2str(numMatches)]);
disp(['Number of misses: ', num2str(numMisses)]);
disp(['Number of false positives: ', num2str(numFalsePositives)]);

Number of matches: 316
Number of misses: 129
Number of false positives: 27

Можно использовать эти необработанные количества, чтобы вычислить другую статистику, такую как точность, вспомнить, и счет F1:

precision = numMatches/(numMatches+numFalsePositives);
disp(['Precision: ', num2str(precision)]);

recall = numMatches/(numMatches+numMisses);
disp(['Sensitivity/Recall: ', num2str(recall)]);

f1Score = 2*(precision*recall)/(precision+recall);
disp(['F1 score: ', num2str(f1Score)]);

Precision: 0.92128
Sensitivity/Recall: 0.71011
F1 score: 0.80203

Визуализируйте результаты Используя видимый с большого расстояния график

evaluateLaneBoundaries дополнительно возвращает индексы присвоения для каждого успешного соответствия между тестовыми контурами и основной истиной. Это может использоваться, чтобы визуализировать обнаруженный и контуры основной истины, чтобы получить лучшее понимание типов отказа.

Найдите систему координат, которая имеет соответствующий контур того и одну положительную ложь. Достоверные данные для каждой системы координат имеют два контура. Так, система координат кандидата будет иметь два индекса присвоения с одним из них являющийся 0, чтобы указать на положительную ложь.

hasMatch           = cellfun(@(x)numel(x)==2, assignments);
hasFalsePositive   = cellfun(@(x)nnz(x)==1, assignments);
frameInd           = find(hasMatch&hasFalsePositive,1,'first');
frameVehiclePoints = gtVehicleBoundaryPoints{frameInd};
frameImagePoints   = gtImageBoundaryPoints{frameInd};
frameModels        = boundaries{frameInd};

Используйте assignments выход evaluateLaneBoundaries найти модели, которые соответствовали (истинные положительные стороны) и модели, которые не имели никакого соответствия (ложные положительные стороны) в основной истине.

matchedModels    = frameModels(assignments{frameInd}~=0);
fpModels         = frameModels(assignments{frameInd}==0);

Настройте видимый с большого расстояния график и визуализируйте точки основной истины и модели на нем.

bep = birdsEyePlot();
gtPlotter = laneBoundaryPlotter(bep,'DisplayName','Ground Truth',...
    'Color','blue');
tpPlotter = laneBoundaryPlotter(bep,'DisplayName','True Positive',...
    'Color','green');
fpPlotter = laneBoundaryPlotter(bep,'DisplayName','False Positive',...
    'Color','red');

plotLaneBoundary(gtPlotter, frameVehiclePoints);
plotLaneBoundary(tpPlotter, matchedModels);
plotLaneBoundary(fpPlotter, fpModels);
title('Bird''s-Eye Plot of Comparison Results');

Визуализируйте результаты на видео при закрытых дверях и виде с высоты птичьего полета

Чтобы получить лучший контекст результата, можно также визуализировать точки основной истины и граничные модели на видео.

Получите систему координат, соответствующую системе координат интереса.

videoReader             = VideoReader(loaded.videoName);
videoReader.CurrentTime = seconds(loaded.groundTruthData.Time(frameInd));
frame                   = videoReader.readFrame();

Рассмотрите граничные модели как сплошную линию (независимо от того, как датчик классифицирует ее) для визуализации.

fpModels.BoundaryType      = 'Solid';
matchedModels.BoundaryType = 'Solid';

Вставьте совпадающие модели, ложные положительные стороны и точки основной истины. Этот график полезен в выведении, что присутствие переходов излагает сложный сценарий алгоритму моделирования контура.

xVehicle = 3:20;
frame = insertLaneBoundary(frame, fpModels, sensor, xVehicle,'Color','Red');
frame = insertLaneBoundary(frame, matchedModels, sensor, xVehicle,'Color','Green');
figure
ha = axes;
imshow(frame,'Parent', ha);

% Combine the left and right boundary points
boundaryPoints = [frameImagePoints{1};frameImagePoints{2}];
hold on
plot(ha, boundaryPoints(:,1), boundaryPoints(:,2),'+','MarkerSize',10,'LineWidth',4);
title('Camera View of Comparison Results');

Можно также визуализировать результаты в виде с высоты птичьего полета на эту систему координат.

birdsEyeImage = transformImage(monoSensor.BirdsEyeConfig,frame);

xVehicle = 3:20;
birdsEyeImage = insertLaneBoundary(birdsEyeImage, fpModels, monoSensor.BirdsEyeConfig, xVehicle,'Color','Red');
birdsEyeImage = insertLaneBoundary(birdsEyeImage, matchedModels, monoSensor.BirdsEyeConfig, xVehicle,'Color','Green');

% Combine the left and right boundary points
ptsInVehicle = [frameVehiclePoints{1};frameVehiclePoints{2}];
gtPointsInBEV  = vehicleToImage(monoSensor.BirdsEyeConfig, ptsInVehicle);

figure
imshow(birdsEyeImage);
hold on
plot(gtPointsInBEV(:,1), gtPointsInBEV(:,2),'+','MarkerSize', 10,'LineWidth',4);
title('Bird''s-Eye View of Comparison Results');

Настройте параметры моделирования контура

Можно использовать среду оценки, описанную ранее, чтобы подстроить параметры алгоритма обнаружения контура маршрута. helperMonoSensor отсоединяет три параметра, которые управляют результатами находящего маршрут алгоритма.

LaneXExtentThreshold и LaneStrengthThreshold выведены из XExtent и Strength свойства parabolicLaneBoundary объект. Эти свойства являются примером того, как дополнительные ограничения могут быть помещены в алгоритмы моделирующего контура, чтобы получить приемлемые результаты. Удар различного LaneStrengthThreshold имеет дополнительные нюансы, которые стоит исследовать. Типичные контуры маршрута отмечены или сплошными или пунктирными линиями. Когда по сравнению со сплошными линиями, пунктирные линии имеют более низкое количество точек inlier, ведя к более низким значениям силы. Это делает его бросающий вызов, чтобы установить общий порог силы. Чтобы смотреть удар этого параметра, сначала сгенерируйте все контуры установкой LaneStrengthThreshold к 0. Эта установка гарантирует, что не оказывает влияния на выход.

monoSensor.LaneStrengthThreshold = 0;
boundaries = detectBoundaries('caltech_cordova1.avi', monoSensor);

LaneStrengthThreshold свойство helperMonoSensor управляет нормированным Strength параметр каждого parabolicLaneBoundary модель. Коэффициент нормализации, MaxLaneStrength, сила виртуального маршрута, который запускается для в полной мере видимого с большого расстояния изображения. Это значение определяется только birdsEyeView настройка helperMonoSensor. Оценить удар LaneStrengthThreshold, сначала вычислите распределение нормированных сильных мест маршрута для всех обнаруженных контуров в демонстрационном видео. Отметьте присутствие двух ясных peaks, один в нормированной силе 0,3 и один в 0,7. Эти два peaks соответствуют пунктирным и твердым контурам маршрута соответственно. Из этого графика можно опытным путем решить, что, чтобы гарантировать пунктирные контуры маршрута обнаруживаются, LaneStrengthThreshold должен быть ниже 0.3.

strengths = cellfun(@(b)[b.Strength], boundaries,'UniformOutput',false);
strengths = [strengths{:}];
normalizedStrengths = strengths/monoSensor.MaxLaneStrength;
figure;
hist(normalizedStrengths);
title('Histogram of Normalized Lane Strengths');

Можно использовать среду сравнения, чтобы далее оценить удар LaneStrengthThreshold параметры на эффективности обнаружения алгоритма моделирования. Обратите внимание на то, что threshold значение, управляющее максимальным физическим расстоянием между моделью и основной истиной, остается то же самое как прежде. Это значение диктуют требования точности системы ADAS и обычно не изменяется.

threshold = .25;
[~, ~, ~, assignments] = ...
    evaluateLaneBoundaries(boundaries, gtVehicleBoundaryPoints, threshold);

Интервал каждый контур согласно его нормированной силе. assignments информация помогает классифицировать каждый контур или как истину, положительную (соответствующий) или как положительную ложь. LaneStrengthThreshold порог "min", таким образом, контур, классифицированный как истина, положительная в данном значении, продолжит быть истиной, положительной для всех более низких пороговых значений.

nMatch = zeros(1,100); % Normalized lane strength is bucketed into 100 bins
nFP    = zeros(1,100); % ranging from 0.01 to 1.00.
for frameInd = 1:numel(boundaries)
    frameBoundaries  = boundaries{frameInd};
    frameAssignment  = assignments{frameInd};
    for bInd = 1:numel(frameBoundaries)
        normalizedStrength = frameBoundaries(bInd).Strength/monoSensor.MaxLaneStrength;
        strengthBucket     = floor(normalizedStrength*100);
        if frameAssignment(bInd)
            % This boundary was matched with a ground truth boundary,
            % record as a true positive for all values of strength above
            % its strength value.
            nMatch(1:strengthBucket) = nMatch(1:strengthBucket)+1;
        else
            % This is a false positive
            nFP(1:strengthBucket) = nFP(1:strengthBucket)+1;
        end
    end
end

Используйте эту информацию, чтобы вычислить количество "пропущенных" контуров, то есть, контуров основной истины, которые алгоритму не удалось обнаружить в заданном LaneStrengthThreshold значение. И с той информацией, вычислите точность и вспомните метрики.

gtTotal = sum(cellfun(@(x)numel(x),gtVehicleBoundaryPoints));
nMiss   = gtTotal - nMatch;

precisionPlot = nMatch./(nMatch + nFP);
recallPlot    = nMatch./(nMatch + nMiss);

Постройте точность и вспомните метрики против различных значений порогового параметра силы маршрута. Этот график полезен в определении оптимального значения для параметра силы маршрута. Для этого видеоклипа, чтобы максимизировать метрики отзыва и точности, LaneStrengthThreshold должен быть в области значений 0.20 - 0.25.

figure;
plot(precisionPlot);
hold on;
plot(recallPlot);
xlabel('LaneStrengthThreshold*100');
ylabel('Precision and Recall');
legend('Precision','Recall');
title('Impact of LaneStrengthThreshold on Precision and Recall Metrics');

Поддерживание функции

Обнаружьте контуры в видео.

detectBoundaries использует предварительно сконфигурированный helperMonoSensor объект обнаружить контуры в видео.

function boundaries = detectBoundaries(videoName, monoSensor)
videoReader = VideoReader(videoName);
hwb         = waitbar(0,'Detecting and modeling boundaries in video...');
closeBar    = onCleanup(@()delete(hwb));
frameInd    = 0;
boundaries  = {};
while hasFrame(videoReader)
    frameInd  = frameInd+1;
    frame     = readFrame(videoReader);
    sensorOut = processFrame(monoSensor, frame);
    % Save the boundary models
    boundaries{end+1} =...
        [sensorOut.leftEgoBoundary, sensorOut.rightEgoBoundary];  %#ok<AGROW>
    waitbar(frameInd/(videoReader.Duration*videoReader.FrameRate), hwb);
end
end