Сбор синхронизированных данных о метках из основная истина
labelData = gatherLabelData(gTruth,signalNames,labelTypes)gTruth. Функция возвращает данные о метках для сигналов, заданных signalNames и типы меток, заданные в labelTypes.
[ дополнительно возвращает временные метки сигнала, сопоставленные с собранными данными о метках, используя аргументы из предыдущего синтаксиса.labelData,timestamps] = gatherLabelData(___)
Использование timestamps с writeFrames функция для записи связанных систем координат сигнала из groundTruthMultisignal объекты на диск. Используйте эти системы координат и связанные с ними метки в качестве обучающих данных для моделей машинного обучения или глубокого обучения.
[___] = gatherLabelData(___,'SampleFactor', задает коэффициент расчета, используемый для подприбора данных о метках.sampleFactor)
Сбор данных о метках для видеосигнала и сигнала последовательности облака лидарных точек от groundTruthMultisignal объект. Запишите системы координат сигнала, сопоставленные с данными метки, на диск и визуализируйте системы координат.
Добавьте путь к папке последовательности облаков точек в путь поиска файлов MATLAB ®. Видео уже находится в пути поиска файлов MATLAB.
pcSeqDir = fullfile(toolboxdir('driving'),'drivingdata', ... 'lidarSequence'); addpath(pcSeqDir);
Загрузка groundTruthMultisignal объект, который содержит данные метки для видео и последовательности облака точек лидара.
data = load('MultisignalGTruth.mat');
gTruth = data.gTruth;
Укажите сигналы для сбора данных о метках.
signalNames = ["video_01_city_c2s_fcw_10s" "lidarSequence"];
Видео содержит прямоугольные метки, в то время как лидарная последовательность облака точек содержит кубоидные метки. Соберите метки прямоугольника из видео и кубоидные метки из последовательности лидара облака точек.
labelTypes = [labelType.Rectangle labelType.Cuboid]; [labelData,timestamps] = gatherLabelData(gTruth,signalNames,labelTypes);
Отобразите первые восемь строк данных о метках из этих двух сигналов. Оба сигнала содержат данные для Car метка. На видео, Car метка рисуется как прямоугольник, ограничивающий прямоугольник. В последовательности облаков точек лидара Car метка рисуется как кубоидный ограничивающий прямоугольник.
videoLabelSample = head(labelData{1})
lidarLabelSample = head(labelData{2})
videoLabelSample =
table
Car
_________________
{[299 213 42 33]}
lidarLabelSample =
table
Car
____________________________________________________
{[17.7444 6.7386 3.3291 3.6109 3.2214 3.5583 0 0 0]}
Запись систем координат сигнала, сопоставленных с собранными данными о метке, во временные папки с одной папкой на сигнал. Используйте временные метки, возвращенные gatherLabelData функция для указания, какие системы координат сигнала нужно записать.
outputFolder = fullfile(tempdir,["videoFrames" "lidarFrames"]); fileNames = writeFrames(gTruth,signalNames,outputFolder,timestamps);
Writing 2 frames from the following signals: * video_01_city_c2s_fcw_10s * lidarSequence
Загрузите записанный видеосигнал систем координат при помощи imageDatastore объект. Загрузите связанные данные метки прямоугольника при помощи boxLabelDatastore объект.
imds = imageDatastore(fileNames{1});
blds = boxLabelDatastore(labelData{1});
Загрузите записанные системы координат сигнала лидара при помощи fileDatastore объект. Загрузка связанных данных о кубоидной метке при помощи boxLabelDatastore объект.
fds = fileDatastore(fileNames{2},'ReadFcn',@pcread);
clds = boxLabelDatastore(labelData{2});
Визуализируйте написанные видеокадры с помощью vision.VideoPlayer объект. Визуализируйте написанные системы координат лидара с помощью pcplayer объект.
videoPlayer = vision.VideoPlayer; ptCloud = preview(fds); ptCloudPlayer = pcplayer(ptCloud.XLimits,ptCloud.YLimits,ptCloud.ZLimits); while hasdata(imds) % Read video and lidar frames. I = read(imds); ptCloud = read(fds); % Visualize video and lidar frames. videoPlayer(I); view(ptCloudPlayer,ptCloud); end
Удалите путь к папке последовательности облаков точек.
rmpath(pcSeqDir);
labelData - Маркируйте данныеПометьте данные, возвращенные как M-by- N массив ячеек таблиц, где:
M количество groundTruthMultisignal объекты в gTruth.
Когда labelTypes содержит информация только для чтения labelType перечисления, N количество сигналов в signalNames и количество элементов в labelTypes. В этом случае labelData{m,n} содержит таблицу данных о метках для nпервый сигнал signalNames то есть в mth groundTruthMultisignal объект gTruth. Таблица содержит данные о метках только для типов меток в n1-я позиция labelTypes.
Когда labelTypes содержит только labelType.Scene перечисление, N равно 1. В этом случае labelData{m} содержит таблицу данных меток сцен по всем сигналам в mth groundTruthMultisignal объект gTruth.
Для заданной таблицы данных о метках tbl, таблица имеет размер T-by- L, где:
T - количество временных меток в сигнале, для которого существуют данные о метке.
L количество определений меток типов, собранных для этого сигнала.
tbl(t,l) содержит данные о метках, собранные для lth метка в tвторая временная метка.
Если один из сигналов не имеет данных о метке во временной метке, то соответствующая таблица данных о метке не содержит строку для этой временной метки.
Для каждой камеры таблицы формат возвращаемых данных о метке зависит от типа метки.
| Тип метки | Формат памяти для меток в каждой временной метке |
|---|---|
labelType.Rectangle |
|
|
Рисунок показывает, как эти значения определяют положение кубоида.
|
|
Рисунок показывает, как эти значения определяют положение кубоида.
|
labelType.Line |
|
labelType.PixelLabel | Данные о метке для всех определений пиксельных меток хранятся в одной M -by-1 |
labelType.Polygon |
|
labelType.Scene | Логический 1 (true), если применяется метка сцены, в противном случае логическая 0 (false) |
Рассмотрим массив ячеек из данных о метках, собранных с помощью gatherLabelData функция. Функция собирает метки из трех groundTruthMultisignal объекты с именами переменных gTruth1, gTruth2, и gTruth3.
Для видеосигнала с именем video_front_cameraфункция собирает метки типа Rectangle и Line.
Для лидарного сигнала последовательности облака точек, сохраненного в папке с именем lidarDataфункция собирает метки типа Cuboid.
Этот код показывает вызов на gatherLabelData функция.
labelData = gatherLabelData([gTruth1 gTruth2 gTruth3], ... ["video_front_camera", ... "lidarData"], ... {[labelType.Rectangle labelType.Line], ... labelType.Cuboid};
labelData выводится массив ячеек 3 на 2 из таблиц. Каждая строка массива ячеек содержит данные о метке для одного из groundTruthMultisignal объекты. Первый столбец содержит данные о метке для видеосигнала, video_front_camera. Второй столбец содержит данные метки для сигнала последовательности облака точек, lidarData. Этот рисунок показывает labelData массив ячеек.
Этот рисунок показывает таблицу данных о метках для видеосигнала в третьем groundTruthMultisignal объект. gatherLabelData функция собрала данные для Rectangle метка с именем car и a Line метка с именем lane. Таблица содержит данные о метке в четырех временных метках в сигнале.
Этот рисунок показывает таблицу данных о метках для сигнала лидара в третьем groundTruthMultisignal объект. gatherLabelData функция собрала данные для Cuboid метка, также именованная car. The car метка появляется в обоих типах сигналов, потому что она помечена как Rectangle метка для видеосигналов и Cuboid метка для сигналов лидара. Таблица содержит данные о метке в четырех временных метках в сигнале.
timestamps - Временные метки сигналаduration векторыСигнальные метки времени, возвращенные как M-by- N массив ячеек из duration векторы, где:
M количество groundTruthMultisignal объекты в gTruth.
N количество сигналов в signalNames.
labelData{m,n} содержит временные метки для nпервый сигнал signalNames то есть в mth groundTruthMultisignal объект gTruth.
Если вы собираете данные о метке из нескольких сигналов, временные метки сигнала синхронизируются с временными метками первого сигнала, заданными signalNames.
gatherLabelData функция не собирает данные меток для подметок или атрибутов. Если метка содержит подметки или атрибуты, в labelData выход, функция возвращает положение только родительской метки.