Соберитесь синхронизировал данные о метке из основной истины
labelData = gatherLabelData(gTruth,signalNames,labelTypes)gTruth. Функция возвращает данные о метке для сигналов, заданных signalNames и типы метки заданы labelTypes.
[ дополнительно возвращает метки времени сигнала, сопоставленные с собранными данными о метке, с помощью аргументов от предыдущего синтаксиса.labelData,timestamps] = gatherLabelData(___)
Используйте timestamps с writeFrames функционируйте, чтобы записать связанные системы координат сигнала из groundTruthMultisignal объекты к диску. Используйте эти системы координат и связанные метки как обучающие данные для моделей глубокого обучения или машинного обучения.
[___] = gatherLabelData(___,'SampleFactor', указывает, что демонстрационный фактор раньше подпроизводил данные о метке.sampleFactor)
Соберите данные о метке для видеосигнала и сигнала последовательности облака точек лидара от groundTruthMultisignal объект. Запишите системы координат сигнала, сопоставленные с теми данными о метке к диску, и визуализируйте системы координат.
Добавьте путь к папке последовательности облака точек к пути поиска файлов MATLAB®. Видео уже находится на пути поиска файлов MATLAB.
pcSeqDir = fullfile(toolboxdir('driving'),'drivingdata', ... 'lidarSequence'); addpath(pcSeqDir);
Загрузите groundTruthMultisignal объект, который содержит данные о метке для видео и последовательности облака точек лидара.
data = load('MultisignalGTruth.mat');
gTruth = data.gTruth;
Задайте сигналы, из которых можно собрать данные о метке.
signalNames = ["video_01_city_c2s_fcw_10s" "lidarSequence"];
Видео содержит прямоугольные метки, тогда как последовательность облака точек лидара содержит метки кубоида. Соберите прямоугольные метки от видео и метки кубоида от последовательности облака точек лидара.
labelTypes = [labelType.Rectangle labelType.Cuboid]; [labelData,timestamps] = gatherLabelData(gTruth,signalNames,labelTypes);
Отобразите первые восемь строк данных о метке из двух сигналов. Оба сигнала содержат данные для Car метка. В видео, Car метка чертится как прямоугольная ограничительная рамка. В последовательности облака точек лидара, Car метка чертится как ограничительная рамка кубоида.
videoLabelSample = head(labelData{1})
lidarLabelSample = head(labelData{2})
videoLabelSample =
table
Car
____________
{1x4 double}
lidarLabelSample =
table
Car
____________
{1x9 double}
Запишите системы координат сигнала, сопоставленные с собранными данными о метке к временным местоположениям папки с одной папкой на сигнал. Используйте метки времени, возвращенные gatherLabelData функция, чтобы указать, который сигнал структурирует, чтобы записать.
outputFolder = fullfile(tempdir,["videoFrames" "lidarFrames"]); fileNames = writeFrames(gTruth,signalNames,outputFolder,timestamps);
Writing 2 frames from the following signals: * video_01_city_c2s_fcw_10s * lidarSequence
Загрузите записанные системы координат видеосигнала при помощи imageDatastore объект. Загрузите связанные прямоугольные данные о метке при помощи boxLabelDatastore Объект (Computer Vision Toolbox).
imds = imageDatastore(fileNames{1});
blds = boxLabelDatastore(labelData{1});
Загрузите записанные системы координат сигнала лидара при помощи fileDatastore объект. Загрузите связанные данные о метке кубоида при помощи boxLabelDatastore объект.
fds = fileDatastore(fileNames{2},'ReadFcn',@pcread);
clds = boxLabelDatastore(labelData{2});
Визуализируйте записанные видеокадры при помощи vision.VideoPlayer Объект (Computer Vision Toolbox). Визуализируйте записанные системы координат лидара при помощи pcplayer Объект (Computer Vision Toolbox).
videoPlayer = vision.VideoPlayer; ptCloud = preview(fds); ptCloudPlayer = pcplayer(ptCloud.XLimits,ptCloud.YLimits,ptCloud.ZLimits); while hasdata(imds) % Read video and lidar frames. I = read(imds); ptCloud = read(fds); % Visualize video and lidar frames. videoPlayer(I); view(ptCloudPlayer,ptCloud); end
Удалите путь к папке последовательности облака точек.
rmpath(pcSeqDir);
labelData Данные МеткиПометьте данные, возвращенные как M- N массив ячеек таблиц, где:
M количество groundTruthMultisignal объекты в gTruth.
Когда labelTypes содержит ROI labelType перечисления, N количество сигналов в signalNames и число элементов в labelTypes. В этом случае, labelData{m,n} содержит таблицу данных о метке для nсигнал th signalNames это находится в mth groundTruthMultisignal объект gTruth. Таблица содержит данные о метке только для типов метки в nположение th labelTypes.
Когда labelTypes содержит только labelType.Scene перечисление, N равно 1. В этом случае, labelData{m} содержит таблицу данных о метке сцены через все сигналы в mth groundTruthMultisignal объект gTruth.
Для данной таблицы данных метки, tbl, таблица имеет размер T- L, где:
T количество меток времени в сигнале, для которого существуют данные о метке.
L количество определений метки, которые имеют типы метки, собранные для того сигнала.
tbl(t,l) содержит данные о метке, собранные для lth помечают в tметка времени th.
Если один из сигналов не имеет никаких данных о метке в метке времени, то соответствующая таблица данных метки не включает строку для той метки времени.
Для каждой ячейки в таблице формат возвращенных данных о метке зависит от типа метки.
| Маркируйте Type | Формат устройства хранения данных для меток в каждой метке времени |
|---|---|
labelType.Rectangle |
|
|
Рисунок показывает, как эти значения определяют положение кубоида.
|
|
Рисунок показывает, как эти значения определяют положение кубоида.
|
labelType.Line |
|
labelType.PixelLabel | Данные о метке для всех пиксельных определений метки хранятся в одном PixelLabelData столбец как категориальная матрица метки. Матрица метки должна храниться на диске как uint8 изображение. |
labelType.Scene | Логический 1 TRUE) если метка сцены применяется, в противном случае логический 0 ложь) |
Считайте массив ячеек данных о метке собранным при помощи gatherLabelData функция. Функция собирает метки от трех groundTruthMultisignal объекты с именами переменных gTruth1, gTruth2, и gTruth3.
Для видеосигнала под названием video_front_camera, функция собирает метки типа Rectangle и Line.
Для сигнала последовательности облака точек лидара, сохраненного в папке под названием lidarData, функция собирает метки типа Cuboid.
Этот код показывает вызов gatherLabelData функция.
labelData = gatherLabelData([gTruth1 gTruth2 gTruth3], ... ["video_front_camera", ... "lidarData"], ... {[labelType.Rectangle labelType.Line], ... labelType.Cuboid};
labelData выход является 3 2 массивом ячеек таблиц. Каждая строка массива ячеек содержит данные о метке для одного из groundTruthMultisignal объекты. Первый столбец содержит данные о метке для видеосигнала, video_front_camera. Второй столбец содержит данные о метке для сигнала последовательности облака точек, lidarData. Этот рисунок показывает labelData cellArray.
Этот рисунок показывает таблицу данных метки для видеосигнала в третьем groundTruthMultisignal объект. gatherLabelData функционируйте собранные данные для Rectangle пометьте названный car и Line пометьте названный lane. Таблица содержит данные о метке в четырех метках времени в сигнале.
Этот рисунок показывает таблицу данных метки для сигнала лидара в третьем groundTruthMultisignal объект. gatherLabelData функционируйте собранные данные для Cuboid пометьте, также названный car. car метка появляется в обоих типах сигнала, потому что она отмечена как Rectangle пометьте для видеосигналов и Cuboid пометьте для сигналов лидара. Таблица содержит данные о метке в четырех метках времени в сигнале.
timestamps — Метки времени сигналаduration векторыМетки времени сигнала, возвращенные как M- N массив ячеек duration векторы, где:
M количество groundTruthMultisignal объекты в gTruth.
N количество сигналов в signalNames.
labelData{m,n} содержит метки времени для nсигнал th signalNames это находится в mth groundTruthMultisignal объект gTruth.
Если вы собираете данные о метке из нескольких сигналов, метки времени сигнала синхронизируются с метками времени первого сигнала, заданного signalNames.
gatherLabelData функция не собирает данные о метке для подметок или атрибутов. Если метка содержит подметки или атрибуты в labelData выведите, функция возвращает положение родительской метки только.
groundTruthMultisignal | writeFrames | boxLabelDatastore (Computer Vision Toolbox)