После загрузки видеосигналов и сигналов последовательности облаков точек лидара в приложение Ground Truth Labeler, как описано в процедуре Загрузить сигналы истинности земли в метку, создайте определения меток и пометьте кадры сигналов. В этом примере в иллюстративных целях маркируется только часть сигналов.
Определения меток содержат информацию о метках, которые помечаются на сигналах. Определения меток можно создавать в интерактивном режиме в приложении или программно с помощью labelDefinitionCreatorMultisignal объект. В этом примере в приложении создаются определения меток.
Метка ROI представляет собой метку, которая соответствует интересующей области (ROI) в сигнальном кадре. Можно определить эти типы меток ROI.
Rectangle/Cuboid - Рисование меток ограничивающих рамок вокруг объектов, например транспортных средств. В сигналах изображения метки этого типа рисуются как 2-D прямоугольные ограничивающие рамки. В сигналах облаков точек метки этого типа вычерчиваются как 3-D кубовидные ограничивающие рамки.
Projected cuboid - Нарисуйте 3-D метки ограничивающих рамок вокруг объектов на изображении, таких как транспортные средства.
Line - вычерчивание линейных ROI для меток линий, таких как границы полос движения.
Pixel label - Рисование пикселов для маркировки различных классов, например дорог или неба, для семантической сегментации. Дополнительные сведения о маркировке пикселей см. в разделе Пиксели меток для семантической сегментации
Polygon - Рисование меток полигонов вокруг объектов. Можно маркировать отдельные экземпляры одного класса. Дополнительные сведения о рисовании меток окупаемости инвестиций для полигонов и семантических сетей сегментации см. в разделе Объекты-метки с использованием полигонов.
Дополнительные сведения об этих определениях меток окупаемости инвестиций см. в разделах Метки окупаемости инвестиций, Субкниги и Атрибуты.
Создайте определение метки ROI для маркировки автомобилей в сигнальных кадрах.
На панели «Метки окупаемости инвестиций» в левой панели нажмите «Метка».
Создать Rectangle/Cuboid метка с именем car.
От Group список, выберите New Group и назовите группу Vehicles. Добавление меток в группы является необязательным.
Нажмите кнопку OK. Имя группы транспортных средств появится на вкладке ROI Labels вместе с автомобилем-этикеткой под ней.
Этикетка автомобиля прорисовывается по-разному на каждом сигнале. На видео автомобиль рисуется как 2-D прямоугольная ограничивающая коробка типа Rectangle. На последовательности облака пункта автомобиль оттянут как 3D cuboid ограничивающий прямоугольник типа Cuboid.
Подмаркировка - это тип метки ROI, соответствующий родительской метке ROI. Каждая подмаркировка должна принадлежать или быть дочерней для определения метки, которое находится на вкладке Метки окупаемости инвестиций. Например, в сцене вождения этикетка транспортного средства может иметь подмаркировку для фар, номерных знаков или колес. Дополнительные сведения о суббаллах см. в разделах Метки окупаемости инвестиций, Суббалли и Атрибуты.
Создайте определение подмаркировки ROI для маркировки тормозных огней помеченных автомобилей.
Выберите родительскую метку подмаркировки. На вкладке ROI Labels в левой панели щелкните на этикетке автомобиля, чтобы выбрать ее.
Щелкните Подмаркировка (Sublabel).
Создать Rectangle подмаркировка с именем brakeLight. Cuboid sublabels не поддерживаются, поэтому эта sublabel применяется только для видеосигнала. Нажмите кнопку ОК.
Подэтикетка стоп-сигнала появляется во вкладке ROI Labels под автомобильной маркой. Подмаркировка и родительская метка имеют одинаковый цвет.
Атрибут ROI указывает дополнительную информацию о метке ROI или субкниге. Например, в сцене вождения атрибуты могут включать тип или цвет транспортного средства. Для этих типов можно определить атрибуты окупаемости инвестиций.
Numeric Value - укажите числовой скалярный атрибут, например, количество дверей на маркированном транспортном средстве.
String - укажите строковый скалярный атрибут, например цвет транспортного средства.
Logical - укажите логический атрибут true или false, например, находится ли транспортное средство в движении.
List - укажите атрибут раскрывающегося списка предопределенных строк, таких как марка или модель транспортного средства.
Дополнительные сведения об этих типах атрибутов см. в разделах Метки окупаемости инвестиций, Поднаклейки и Атрибуты.
Создайте атрибут, описывающий включение или выключение маркированного тормозного огня.
На вкладке ROI Labels на левой панели выберите подэтикетку стоп-сигнала и нажмите Attribute.
В поле Наименование атрибута (Attribute Name) введите isOn. Задайте тип атрибута как Logical. Оставить значение по умолчанию равным Empty и нажмите кнопку ОК.
Во вкладке ROI Labels расширьте определение подэтикетки стоп-сигнала. Поле Атрибут (Attribute) для этой суббнаки теперь содержит атрибут isOn.
Метка сцены определяет дополнительную информацию по всем сигналам в сцене. Метки сцен используются для описания таких условий, как освещение и погода, или событий, таких как изменение полосы движения.
Создайте метку сцены для применения к сигнальным кадрам.
На левой панели приложения выберите вкладку Метки сцен.
Щелкните Определить новую метку сцены (Define new scene label) и в поле Имя метки (Label Name) введите метку сцены с именем daytime.
Измените цвет определения метки на светло-синий, чтобы отразить характер метки сцены. Под параметром Цвет (Color) щелкните предварительный просмотр цвета и выберите стандартные светло-синие цвета. Затем нажмите кнопку ОК, чтобы закрыть окно выбора цвета.
Оставьте для параметра Group значение по умолчанию None и нажмите кнопку OK. На панели «Метки сцены» отображается определение метки сцены.
Убедитесь, что определения меток настроены таким образом.
Вкладка ROI Labels содержит группу Vehicles с этикеткой автомобиля типа Rectangle/Cuboid.
Автомобильная этикетка содержит подэтикетку, названную стоп-сигналом.
Подэтикетка стоп-сигнала содержит признак, названный isOn.
Вкладка «Метки сцены» содержит светло-синюю метку сцены с именем «Дневное время».
Чтобы изменить или удалить определение метки, щелкните его правой кнопкой мыши и выберите соответствующую опцию редактирования или удаления. Чтобы сохранить эти определения меток в MAT-файле для использования в будущих сеансах маркировки, на вкладке Метка (Label) панели инструментов приложения сначала выберите Экспорт (Export). Затем в разделе «Определения меток» выберите «В файл».
В будущих сеансах маркировки, если необходимо изменить порядок определений меток или переместить их в различные группы, можно перетащить их на панели определений меток.
Используйте этикетку автомобиля, чтобы пометить один из автомобилей в части видео. Для упрощения процесса маркировки используйте один из встроенных алгоритмов автоматизации этикеток.
Выберите временной интервал для маркировки. Укажите интервал от 8 до 10 секунд, в течение которого впереди идущий автомобиль находится близко к эго-транспортному средству. В текстовых полях под видео введите следующие значения времени в следующем порядке:
В поле «Текущий» введите 8.
В поле «Время начала» введите 8 так, что ползунок находится в начале временного интервала.
В поле «Время окончания» введите 10.
Ползунок диапазона и текстовые поля устанавливаются на этот интервал 8-10 секунд. Красные флаги указывают начало и конец интервала.
Приложение отображает кадры сигналов только из этого интервала, а алгоритмы автоматизации применяются только к этому интервалу. Чтобы развернуть интервал времени для заполнения всего раздела воспроизведения, нажмите кнопку «Увеличить интервал времени».
Выберите метку, которую требуется автоматизировать. На вкладке ROI Labels щелкните на этикетке автомобиля.
Выберите используемый алгоритм автоматизации. На панели инструментов приложения выберите Выбрать алгоритм > Временной интерполятор. Этот алгоритм оценивает ROI прямоугольника между кадрами изображения путем интерполяции местоположений ROI через интервал времени.
Выберите сигнал, который требуется автоматизировать. На панели инструментов приложения щелкните Выбрать сигналы. Затем в окне Select Signals выберите только видеосигнал и нажмите кнопку OK. Этот алгоритм поддерживает маркировку только одного сигнала за раз, а сигнал облака точек использует другой алгоритм автоматизации.
Щелкните Автоматизировать (Automate). Приложение предложит вам подтвердить, что вы хотите пометить только часть видео. Нажмите «Да». Откроется сеанс автоматизации для видео. На правой панели сеанса автоматизации отображаются инструкции по алгоритму.
В начале интервала времени щелкните и перетащите, чтобы нарисовать этикетку автомобиля вокруг автомобиля в центре рамы. Для этого алгоритма можно нарисовать только одну метку на кадр. Маркировка другого автомобиля потребует отдельного сеанса автоматизации.
По умолчанию метка автомобиля появляется только при наведении на нее указателя. Чтобы всегда отображать метки, на панели инструментов приложения установите для параметра Показать метки окупаемости инвестиций значение Always.
Перетащите ползунок на последний кадр и нанесите наклейку на автомобиль вокруг того же автомобиля в этом кадре. Дополнительно для улучшения результатов автоматизации маркируйте автомобиль в промежуточных рамах.
Щелкните Выполнить (Run). Алгоритм автоматизации применяет метку автомобиля к промежуточным рамам. Перетащите ползунок для просмотра результатов. При необходимости вручную отрегулируйте метки для повышения их точности.
Когда результаты будут удовлетворены, нажмите кнопку Принять, чтобы закрыть сеанс и применить метки к этой части видео.
Для маркировки автомобиля в последовательности облаков точек используйте то же определение метки автомобиля, что и в предыдущей процедуре. Для упрощения процесса маркировки используйте встроенный алгоритм автоматизации меток, разработанный для маркировки облака точек. В этом примере маркируется эго-транспортное средство, которое легче увидеть в последовательности облаков точек лидара, чем передний автомобиль.
Убедитесь, что в нижней части приложения установлен диапазон времени от 8 до 10 секунд.
В окне маркировки щелкните последовательность облаков точек, чтобы выбрать ее.
На вкладке Метки окупаемости инвестиций щелкните определение метки автомобиля.
На вкладке «Метка» панели инструментов приложения выберите «Выбор алгоритма» > «Временной интерполятор облака точек». Этот алгоритм оценивает кубоидные ROI между кадрами облака точек путем интерполяции местоположений ROI через интервал времени.
Нажмите «Выбрать сигналы», выберите только сигнал облака точек и нажмите «ОК».
Щелкните Автоматизировать (Automate). Приложение предложит подтвердить, что требуется пометить только часть последовательности облаков точек. Нажмите «Да». Откроется сеанс автоматизации для последовательности облаков точек. На правой панели сеанса автоматизации отображаются инструкции по алгоритму.
В начале интервала времени нанесите этикетку автомобиля вокруг эго-транспортного средства.
Увеличьте изображение автомобиля с помощью колесика прокрутки или кнопки Zoom In
в правом верхнем углу рамы. Для
центрирования автомобиля в рамке можно также использовать кнопку «Панорамирование».
На вкладке ROI Labels в левой панели щелкните на этикетке автомобиля. Перетащите серый кубоид предварительного просмотра до тех пор, пока он не выделит транспортное средство ego.
Щелкните кадр сигнала, чтобы создать метку. Метка привязывается к выделенной части облака точек.
Отрегулируйте наклейку cuboid до полного закрытия автомобиля. Чтобы изменить размер куба, щелкните и перетащите одну из граней куба. Чтобы переместить кубоид, удерживая нажатой клавишу SHIFT, щелкните и перетащите одну из граней кубоида.
Дополнительные советы и методы маркировки облаков точек см. в разделе Маркировка облаков точек Lidar для обнаружения объектов.
Щелкните кубоид и нажмите Ctrl + C, чтобы скопировать его. Затем перетащите ползунок в последний кадр и нажмите клавиши CTRL + V, чтобы вставить кубоид в новый кадр в том же положении. При необходимости для улучшения результатов автоматизации вручную отрегулируйте положение скопированной метки.
Щелкните Выполнить (Run). Алгоритм автоматизации применяет метку автомобиля к промежуточным рамам. Перетащите ползунок для просмотра результатов. При необходимости вручную отрегулируйте метки для повышения их точности.
Когда результаты будут удовлетворены, нажмите кнопку Принять (Accept), чтобы закрыть сессию и применить метки к этой части последовательности облаков точек.
Этикетка Manually одна структура видео с подэтикеткой стоп-сигнала и ее признаком isOn. Сигналы облака точек Lidar не поддерживают подметки и атрибуты, поэтому нельзя маркировать последовательность облака точек.
Убедитесь, что в нижней части приложения установлен диапазон времени от 8 до 10 секунд. При необходимости перетащите ползунок в первый кадр временного диапазона.
Во вкладке ROI Labels щелкните по определению подэтикетки стоп-сигнала, чтобы выбрать его.
Скрыть последовательность облаков точек. На вкладке «Метка» панели инструментов приложения в разделе «Показать/скрыть сигналы» снимите флажок для последовательности облака точек лидара. Скрытие сигнала скрывает только дисплей. Приложение поддерживает метки скрытых сигналов, и их можно экспортировать.
Разверните видеосигнал, чтобы заполнить все окно маркировки.
В видеокадре выберите нарисованную этикетку автомобиля. Метка становится желтой. Перед добавлением к нему субкниги необходимо выбрать этикетку автомобиля (родительский ROI).
Нарисуйте световые субкниги для автомобиля. При необходимости задайте для параметра «Показать метки окупаемости инвестиций» значение Always чтобы вы могли подтвердить связь между этикеткой автомобиля и его суббаллами.
На видео структуре выберите одну из подэтикеток стоп-сигнала. Затем на панели Атрибуты (Attributes) и Надписи (Sublabels) в правой области задайте атрибут isOn равным True. Повторите этот шаг для другой подмаркировки.
Дополнительные сведения о работе с суббаллами и атрибутами см. в разделе Использование суббалл и атрибутов для маркировки данных истинности основания.
Примените метку сцены в дневное время ко всей сцене.
Расширьте временной интервал до полной длительности всех сигналов. При увеличении временного интервала сначала нажмите кнопку «Уменьшить временной интервал». Затем перетащите красные флаги в начало и конец ползунка диапазона.
На левой панели приложения выберите вкладку Метки сцен.
Выберите определение метки сцены в дневное время.
Над определением метки щелкните Временной интервал (Time Interval). Затем щелкните Добавить метку. Для метки сцены в дневное время появится флажок, указывающий, что метка теперь применяется ко всем кадрам в интервале времени.
Теперь, когда все метки, подметки и атрибуты применены по крайней мере к одному кадру сигнала, можно дополнительно просмотреть визуальную сводку меток истинности земли. На панели инструментов приложения щелкните Просмотр сводки меток. Дополнительные сведения см. в разделе Просмотр сводки меток истинности грунта.
На панели инструментов приложения выберите Сохранить сеанс и сохраните MAT-файл сеанса приложения. Сохраненный сеанс включает в себя источник данных, определения меток и маркированную истинность грунта. Он также включает настройки сеанса, такие как макет приложения.
Теперь можно либо закрыть сеанс приложения, либо перейти к шагу Экспортировать и исследовать метки истинности земли для нескольких сигналов, на котором выполняется экспорт меток.