Exponenta Banner
exponenta event banner

Создание кода для обнаружения объектов Lidar с помощью Deep Learning

В этом примере используются:

Открыть сценарий в реальном времени

В этом примере показано, как создать CUDA ® MEX для детектора объектов, содержащего пользовательские слои. Дополнительные сведения см. в разделе Пример определения объектов Lidar 3-D с помощью метода «Deep Learning» в Toolbox™ Lidar.

Предварительные условия для сторонних производителей

Необходимый

  • Графический процессор NVIDIA ® с поддержкой CUDA и совместимый драйвер.

Дополнительный

Для построений, отличных от MEX, таких как статические и динамические библиотеки или исполняемые файлы, этот пример имеет следующие дополнительные требования.

Проверка среды графического процессора

Чтобы убедиться, что компиляторы и библиотеки для выполнения этого примера настроены правильно, используйте coder.checkGpuInstall (Кодер графического процессора).

envCfg = coder.gpuEnvConfig('host');
envCfg.DeepLibTarget = 'cudnn';
envCfg.DeepCodegen = 1;
envCfg.Quiet = 1;
coder.checkGpuInstall(envCfg);

Предварительно обученная сетевая сеть, обеспечивающая работу со столбами

Загрузите сеть, обученную обнаружению объектов Lidar 3-D, с помощью примера Deep Learning. Чтобы обучить сеть самостоятельно, посмотрите Лидар 3D Обнаружение Объекта Используя PointPillars, Глубоко Учась.

outputFolder = fullfile(tempdir, 'Pandaset');
pretrainedNetURL = 'https://ssd.mathworks.com/supportfiles/lidar/data/trainedPointPillarsPandasetNet.zip';
matFile = helperDownloadPretrainedPointPillarsNet(outputFolder, pretrainedNetURL);
load(matFile,'net');

pointpillarsDetect Функция точки входа

pointpillarsDetect функция начальной точки принимает характеристики столбов и индексы столбов в качестве входных данных и передает их в обученную сеть для прогнозирования через pointpillarPredict функция. pointpillarsDetect функция загружает сетевой объект из MAT-файла в постоянную переменную и повторно использует постоянный объект для последующих вызовов прогнозирования. В частности, функция использует dlnetwork представление сети, прошедшей обучение по обнаружению объектов Lidar 3-D, с помощью программы «Deep Learning». 

type('pointpillarsDetect.m')
function [bboxes,scores,labels] = pointpillarsDetect(matFile, pillarFeatures, pillarIndices, gridParams, numOutputs, confidenceThreshold, overlapThreshold, classNames)
% The pointpillarsDetect function detects the bounding boxes, scores, and
% labels in the point cloud.

coder.extrinsic('helpergeneratePointPillarDetections');

% Define Anchor Boxes
anchorBoxes = {{1.92, 4.5, 1.69, -1.78, 0}, {1.92, 4.5, 1.69, -1.78, pi/2}, {2.1575, 6.0081, 2.3811, -1.78, 0}, {2.1575, 6.0081, 2.3811, -1.78, pi/2}};

% Predict the output
predictions = pointpillarPredict(matFile,pillarFeatures,pillarIndices,numOutputs);

% Generate Detections
[bboxes,scores,labels] = helpergeneratePointPillarDetections(predictions,gridParams,pillarIndices,...
                         anchorBoxes,confidenceThreshold,overlapThreshold,classNames);

end

function YPredCell = pointpillarPredict(matFile,pillarFeatures,pillarIndices,numOutputs)
% Predict the output of network and extract the following confidence,
% x, y, z, l, w, h, yaw and class.

% load the deep learning network for prediction
persistent net;

if isempty(net)
    net = coder.loadDeepLearningNetwork(matFile);
end

YPredCell = cell(1,numOutputs);
[YPredCell{:}] = predict(net,pillarIndices,pillarFeatures);
end

Анализ функции точки входа для обнаружения объектов

Оцените функцию начальной точки в облаке точек.

  • Определите параметры сетки и параметры извлечения столбов.

  • Чтение облака точек и создание элементов и индексов столбов с помощью createPillars вспомогательная функция, присоединенная к этому примеру в качестве вспомогательного файла.

  • Укажите порог достоверности как 0,5 для сохранения только обнаружения с показателями достоверности, превышающими это значение.

  • Укажите порог перекрытия как 0,1 для удаления перекрывающихся обнаружений.

  • Использовать функцию точки входа pointpillarsDetect чтобы получить прогнозируемые ограничивающие рамки, оценки достоверности и метки класса.

  • Отображение облака точек с ограничивающими прямоугольниками.

Определите параметры сетки.

xMin = 0.0;     % Minimum value along X-axis.
yMin = -39.68;  % Minimum value along Y-axis.
zMin = -5.0;    % Minimum value along Z-axis.
xMax = 69.12;   % Maximum value along X-axis.
yMax = 39.68;   % Maximum value along Y-axis.
zMax = 5.0;     % Maximum value along Z-axis.
xStep = 0.16;   % Resolution along X-axis.
yStep = 0.16;   % Resolution along Y-axis.
dsFactor = 2.0; % DownSampling factor.

Вычислите размеры псевдоизображения.

Xn = round(((xMax - xMin) / xStep));
Yn = round(((yMax - yMin) / yStep));
gridParams = {{xMin,yMin,zMin},{xMax,yMax,zMax},{xStep,yStep,dsFactor},{Xn,Yn}};

Определите параметры извлечения столбов.

P = 12000; % Define number of prominent pillars.
N = 100;   % Define number of points per pillar.

Вычислите количество сетевых выходов.

networkOutputs = numel(net.OutputNames);

Считывайте облако точек из набора данных Pandaset [2] и преобразуйте его в формат M-by-4.

pc = pcread('pandasetDrivingData.pcd');
ptCloud = cat(2,pc.Location,pc.Intensity);

Создание элементов столбов и индексов столбов из облаков точек с помощью createPillars вспомогательная функция, присоединенная к этому примеру в качестве вспомогательного файла.

processedPtCloud = createPillars({ptCloud,'',''}, gridParams,P,N);

Извлеките элементы столба и индексы столба.

pillarFeatures = dlarray(single(processedPtCloud{1,1}),'SSCB');
pillarIndices = dlarray(single(processedPtCloud{1,2}),'SSCB');

Укажите имена классов.

classNames = {'car','truck'};

Определите требуемые пороговые значения.

confidenceThreshold = 0.5;
overlapThreshold = 0.1;

Используйте метод обнаружения в сети StartStolps и просмотрите результаты.

[bboxes,~,labels] = pointpillarsDetect(matFile, pillarFeatures, pillarIndices, gridParams, networkOutputs, confidenceThreshold, overlapThreshold, classNames);
bboxesCar = bboxes(labels == 'car',:);
bboxesTruck = bboxes(labels == 'truck',:);

Отображение обнаружений в облаке точек.

helperDisplay3DBoxesOverlaidPointCloud(pc.Location, bboxesCar, 'green', bboxesTruck, 'magenta', 'Predicted bounding boxes');

Создание CUDA MEX

Создание кода CUDA ® для pointpillarsDetect создание объекта конфигурации кода GPU для цели MEX и установка целевого языка на C++. Используйте coder.DeepLearningConfig (GPU Coder) для создания объекта конфигурации глубокого обучения cuDNN и назначения его DeepLearningConfig свойства объекта конфигурации кода графического процессора. 

cfg = coder.gpuConfig('mex');
cfg.TargetLang = 'C++';
cfg.DeepLearningConfig = coder.DeepLearningConfig(TargetLibrary='cudnn');

args = {coder.Constant(matFile), pillarFeatures, pillarIndices, gridParams, coder.Constant(networkOutputs), ...
        confidenceThreshold, overlapThreshold, classNames};

codegen -config cfg pointpillarsDetect -args args -report
Code generation successful: View report

Запуск сгенерированного MEX

Вызовите сгенерированный CUDA MEX с теми же функциями и индексами столба, что и ранее. Просмотрите результаты.

[bboxes, ~, labels] = pointpillarsDetect_mex(matFile, pillarFeatures, pillarIndices, gridParams,...
                                    networkOutputs, confidenceThreshold, overlapThreshold, classNames);
bboxesCar = bboxes(labels == 'car',:);
bboxesTruck = bboxes(labels == 'truck',:);

helperDisplay3DBoxesOverlaidPointCloud(pc.Location, bboxesCar, 'green', bboxesTruck, 'magenta', 'Predicted bounding boxes');

Вспомогательные функции

function preTrainedMATFile = helperDownloadPretrainedPointPillarsNet(outputFolder, pretrainedNetURL)
% Download the pretrained PointPillars network.    
    if ~exist(outputFolder,'dir')
        mkdir(outputFolder);
    end
    preTrainedZipFile = fullfile(outputFolder,'trainedPointPillarsPandasetNet.zip');  
    preTrainedMATFile = fullfile(outputFolder,'trainedPointPillarsPandasetNet.mat');
    if ~exist(preTrainedMATFile,'file')
        if ~exist(preTrainedZipFile,'file')
            disp('Downloading pretrained detector (8.4 MB)...');
            websave(preTrainedZipFile, pretrainedNetURL);
        end
        unzip(preTrainedZipFile, outputFolder);   
    end   
end

function helperDisplay3DBoxesOverlaidPointCloud(ptCld, labelsCar, carColor, labelsTruck, truckColor, titleForFigure)
% Display the point cloud with different colored bounding boxes for different
% classes
    figure;
    ax = pcshow(ptCld);
    showShape('cuboid', labelsCar, 'Parent', ax, 'Opacity', 0.1, 'Color', carColor, 'LineWidth', 0.5);
    hold on;
    showShape('cuboid', labelsTruck, 'Parent', ax, 'Opacity', 0.1, 'Color', truckColor, 'LineWidth', 0.5);
    title(titleForFigure);
    zoom(ax,1.5);
end

Ссылки

[1] Ланг, Алекс Х., Сурабх Вора, Хольгер Цезарь, Любин Чжоу, Цзён Ян и Оскар Бэйббом. «StartStolps: быстрые кодеры для обнаружения объектов из точечных облаков». В 2019 году Конференция IEEE/CVF по компьютерному зрению и распознаванию образов (CVPR), 12689-12697. Лонг-Бич, Калифорния, США: IEEE, 2019. https://doi.org/10.1109/CVPR.2019.01298.

[2] Хесай и масштаб. PandaSet. https://scale.com/open-datasets/pandaset.

Документация по панели инструментов Lidar

Поддержка