Сбор синхронизированных данных меток из данных о земле
labelData = gatherLabelData(gTruth,signalNames,labelTypes)gTruth. Функция возвращает данные метки для сигналов, указанных signalNames и типы меток, указанные labelTypes.
[ дополнительно возвращает временные метки сигнала, связанные с собранными данными метки, используя аргументы из предыдущего синтаксиса.labelData,timestamps] = gatherLabelData(___)
Использовать timestamps с writeFrames для записи связанных сигнальных кадров из groundTruthMultisignal объекты на диск. Используйте эти кадры и связанные метки в качестве обучающих данных для моделей машинного обучения или глубокого обучения.
[___] = gatherLabelData(___,'SampleFactor', указывает коэффициент выборки, используемый для выборки данных метки.sampleFactor)
Сбор данных метки для видеосигнала и сигнала последовательности облака точек лидара из groundTruthMultisignal объект. Запишите сигнальные кадры, связанные с данными метки, на диск и визуализируйте кадры.
Добавьте путь к папке последовательности облаков точек в путь поиска MATLAB ®. Видео уже находится в пути поиска MATLAB.
pcSeqDir = fullfile(toolboxdir('driving'),'drivingdata', ... 'lidarSequence'); addpath(pcSeqDir);
Загрузить a groundTruthMultisignal объект, содержащий данные метки для видео и последовательности облаков точек лидара.
data = load('MultisignalGTruth.mat');
gTruth = data.gTruth;
Укажите сигналы для сбора данных метки.
signalNames = ["video_01_city_c2s_fcw_10s" "lidarSequence"];
Видео содержит метки прямоугольника, в то время как последовательность облаков точек лидара содержит метки кубов. Соберите прямоугольные метки из видео и кубовидные метки из последовательности облаков точек лидара.
labelTypes = [labelType.Rectangle labelType.Cuboid]; [labelData,timestamps] = gatherLabelData(gTruth,signalNames,labelTypes);
Отображение первых восьми строк данных метки из двух сигналов. Оба сигнала содержат данные для Car этикетка. В видео, Car метка рисуется как прямоугольная ограничительная рамка. В последовательности облаков точек лидара Car метка рисуется как кубовидная ограничивающая рамка.
videoLabelSample = head(labelData{1})
lidarLabelSample = head(labelData{2})
videoLabelSample =
table
Car
_________________
{[299 213 42 33]}
lidarLabelSample =
table
Car
____________________________________________________
{[17.7444 6.7386 3.3291 3.6109 3.2214 3.5583 0 0 0]}
Запись кадров сигнала, связанных с собранными данными метки, во временные папки с одной папкой на сигнал. Использовать метки времени, возвращенные gatherLabelData для указания, какие сигнальные кадры следует записать.
outputFolder = fullfile(tempdir,["videoFrames" "lidarFrames"]); fileNames = writeFrames(gTruth,signalNames,outputFolder,timestamps);
Writing 2 frames from the following signals: * video_01_city_c2s_fcw_10s * lidarSequence
Загрузка кадров записанного видеосигнала с помощью imageDatastore объект. Загрузите связанные данные метки прямоугольника с помощью boxLabelDatastore объект.
imds = imageDatastore(fileNames{1});
blds = boxLabelDatastore(labelData{1});
Загрузите записанные кадры лидарного сигнала с помощью fileDatastore объект. Загрузка связанных данных меток кубов с помощью boxLabelDatastore объект.
fds = fileDatastore(fileNames{2},'ReadFcn',@pcread);
clds = boxLabelDatastore(labelData{2});
Визуализация записанных видеокадров с помощью vision.VideoPlayer объект. Визуализация записанных лидарных кадров с помощью pcplayer объект.
videoPlayer = vision.VideoPlayer; ptCloud = preview(fds); ptCloudPlayer = pcplayer(ptCloud.XLimits,ptCloud.YLimits,ptCloud.ZLimits); while hasdata(imds) % Read video and lidar frames. I = read(imds); ptCloud = read(fds); % Visualize video and lidar frames. videoPlayer(I); view(ptCloudPlayer,ptCloud); end
Удалите путь к папке последовательности облаков точек.
rmpath(pcSeqDir);
labelData - Данные этикеткиДанные метки, возвращенные как Mоколо-N массив ячеек таблиц, где:
M - количество groundTruthMultisignal объекты в gTruth.
Когда labelTypes содержит окупаемость инвестиций labelType перечисления, N - количество сигналов в signalNames и количество элементов в labelTypes. В этом случае labelData{m,n} содержит таблицу данных метки для n-й сигнал signalNames который находится в mth groundTruthMultisignal объект gTruth. Таблица содержит данные метки только для типов меток в n4-я позиция labelTypes.
Когда labelTypes содержит только labelType.Scene перечисление, N равно 1. В этом случае labelData{m} содержит таблицу данных метки сцены для всех сигналов в mth groundTruthMultisignal объект gTruth.
Для данной таблицы данных метки: tbl, таблица имеет размер Tоколо-L, где:
T - количество временных меток в сигнале, для которого существуют данные метки.
L - количество определений меток, которые относятся к типам меток, собранным для этого сигнала.
tbl(t,l) содержит данные метки, собранные для lВ-й этикетке на tвосьмая временная метка.
Если один из сигналов не имеет данных метки во временной метке, то соответствующая таблица данных метки не включает строку для этой временной метки.
Для каждой ячейки таблицы формат возвращаемых данных метки зависит от типа метки.
| Тип метки | Формат хранения для меток на каждой отметке времени |
|---|---|
labelType.Rectangle |
|
|
На рисунке показано, как эти значения определяют положение кубоида.
|
|
На рисунке показано, как эти значения определяют положение кубоида.
|
labelType.Line |
|
labelType.PixelLabel | Данные меток для всех определений меток пикселей хранятся в одном M-by-1 |
labelType.Polygon |
|
labelType.Scene | Логичный 1 (true), если метка сцены применена, в противном случае это логично 0 (false) |
Рассмотрим массив ячеек данных метки, собранных с помощью gatherLabelData функция. Функция собирает метки из трех groundTruthMultisignal объекты с именами переменных gTruth1, gTruth2, и gTruth3.
Для видеосигнала с именем video_front_camera, функция собирает метки типа Rectangle и Line.
Для сигнала последовательности облака точек лидара, хранящегося в папке с именем lidarData, функция собирает метки типа Cuboid.
Этот код показывает вызов gatherLabelData функция.
labelData = gatherLabelData([gTruth1 gTruth2 gTruth3], ... ["video_front_camera", ... "lidarData"], ... {[labelType.Rectangle labelType.Line], ... labelType.Cuboid};
labelData выходные данные представляют собой массив ячеек 3 на 2 из таблиц. Каждая строка массива ячеек содержит данные метки для одной из groundTruthMultisignal объекты. Первый столбец содержит данные метки для видеосигнала, video_front_camera. Второй столбец содержит данные метки для сигнала последовательности облаков точек, lidarData. На этом рисунке показаны labelData массив ячеек.
На этом рисунке показана таблица данных метки для видеосигнала в третьем groundTruthMultisignal объект. gatherLabelData функция собрала данные для Rectangle метка с именем car и Line метка с именем lane. Таблица содержит данные метки с четырьмя временными метками в сигнале.
На этом рисунке показана таблица данных метки для лидарного сигнала в третьем groundTruthMultisignal объект. gatherLabelData функция собрала данные для Cuboid метка, также имя car. car метка появляется в обоих типах сигналов, поскольку она помечена как Rectangle метка для видеосигналов и Cuboid метка для лидарных сигналов. Таблица содержит данные метки с четырьмя временными метками в сигнале.
timestamps - Временные метки сигналовduration векторыВременные метки сигнала, возвращенные как Mоколо-N массив ячеек duration векторы, где:
M - количество groundTruthMultisignal объекты в gTruth.
N - количество сигналов в signalNames.
labelData{m,n} содержит временные метки для n-й сигнал signalNames который находится в mth groundTruthMultisignal объект gTruth.
При сборе данных метки из нескольких сигналов метки времени сигнала синхронизируются с метками времени первого сигнала, указанного в signalNames.
gatherLabelData функция не собирает данные меток для суббнаков или атрибутов. Если метка содержит суббнаки или атрибуты, в labelData вывод, функция возвращает только позицию родительской метки.