Маркируйте Ground Truth for Multiple Signals

Шаг 2 3 в Начало работы с Ground Truth Labeler

После загрузки видео и сигналов последовательности облака точек лидара в приложение Ground Truth Labeler, как описано в Сигналах Основной истины Загрузки Пометить процедуру, создают определения метки и помечают системы координат сигнала. В этом примере вы помечаете только фрагмент сигналов в иллюстративных целях.

Создание Определений Меток

Label definitions содержит информацию о метках, которые вы отмечаете на сигналах. Можно создать определения метки в интерактивном режиме в рамках приложения или программно при помощи labelDefinitionCreatorMultisignal объект. В этом примере вы создаете определения метки в приложении.

Создайте метку ROI

ROI label является меткой, которая соответствует видимой области (ROI) в системе координат сигнала. Можно задать эти типы метки ROI.

Rectangle/Cuboid — Чертите метки ограничительной рамки вокруг объектов, таких как транспортные средства. В сигналах изображений вы чертите метки этого типа как 2D прямоугольные ограничительные рамки. В сигналах облака точек вы чертите метки этого типа как 3-D ограничительные рамки кубоида.
Projected cuboid — Чертите 3-D метки ограничительной рамки вокруг объектов в изображении, таких как транспортные средства.
Line — Чертите линейные ROI, чтобы пометить линии, такие как контуры маршрута.
Pixel label — Чертите пиксели, чтобы пометить различные классы, такие как дорога или небо, для семантической сегментации. Для получения дополнительной информации о пиксельной маркировке, смотрите, Маркируют Pixels for Semantic Segmentation
Polygon — Чертите метки многоугольника вокруг объектов. Можно пометить отличные экземпляры того же класса. Для получения дополнительной информации о рисовании меток ROI многоугольника, например, и сетей семантической сегментации, смотрите, Маркируют Objects Using Polygons

Для получения дополнительной информации об этих определениях метки ROI, смотрите Метки ROI, Подметки и Атрибуты.

Создайте определение метки ROI для маркировки автомобилей в системах координат сигнала.

На панели ROI Labels на левой панели нажмите Label.
Создайте Rectangle/Cuboid пометьте названный car.
От Group перечислите, выберите New Group и назовите группу Vehicles. Добавление меток группам является дополнительным.
Нажмите OK. Название группы Vehicles появляется на вкладке ROI Labels с меткой car под ним.

Метка car чертится по-другому на каждом сигнале. На видео car чертится как 2D прямоугольная ограничительная рамка типа Rectangle. На последовательности облака точек car чертится как 3-D ограничительная рамка кубоида типа Cuboid.

Создайте подметку ROI

sublabel является типом метки ROI, которая соответствует родительской метке ROI. Каждая подметка должна принадлежать или быть дочерним элементом, определение метки, которое находится во вкладке ROI Labels. Например, в ведущей сцене, метка транспортного средства может иметь подметки для фар, номерных знаков или колес. Для получения дополнительной информации о подметках, смотрите Метки ROI, Подметки и Атрибуты.

Создайте определение подметки ROI для маркировки стоп-сигналов помеченных автомобилей.

Выберите родительскую метку подметки. На вкладке ROI Labels на левой панели кликните по метке car, чтобы выбрать его.
Нажмите Sublabel.
Создайте Rectangle подпометьте названный brakeLight. Подметки кубоида не поддерживаются, таким образом, эта подметка применяется только для видеосигнала. Нажмите OK.
Подметка brakeLight появляется во вкладке ROI Labels под маркой car. Подметка и родительская метка имеют тот же цвет.

Создайте атрибут ROI

ROI attribute указывает дополнительную информацию о метке ROI или подметке. Например, в ведущей сцене, атрибуты могут включать тип или цвет транспортного средства. Можно задать атрибуты ROI этих типов.

Numeric Value — Задайте атрибут числового скаляра, такой как количество дверей на помеченном транспортном средстве.
String — Задайте атрибут строкового скаляра, такой как цвет транспортного средства.
Logical — Задайте логический истинный или ложный атрибут, такой как, находится ли транспортное средство в движении.
List — Задайте выпадающий атрибут списка предопределенных строк, тех, которые делают или модель транспортного средства.

Для получения дополнительной информации об этих типах атрибута, смотрите Метки ROI, Подметки и Атрибуты.

Создайте атрибут, чтобы описать, ли включен помеченный стоп-сигнал или прочь.

На вкладке ROI Labels на левой панели выберите подметку brakeLight и нажмите Attribute.
В поле Attribute Name введите isOn. Установите тип атрибута на Logical. Оставьте набор Default Value Empty и опционально предоставьте описание. Нажмите OK. Можно навести на информационный значок, который, кажется, рядом с полем атрибута отображает добавленное описание.
Во вкладке ROI Labels расширьте определение подметки brakeLight. Поле Attribute для этой подметки теперь содержит атрибут isOn.

ROI Labels tab with an isOn attribute under the brakeLight label

Создайте метку сцены

scene label задает дополнительную информацию через все сигналы в сцене. Используйте метки сцены, чтобы описать условия, такие как подсветка и погода, или события, такие как маршрут изменяется.

Создайте метку сцены, чтобы примениться к системам координат сигнала.

На левой панели приложения выберите вкладку Scene Labels.
Нажмите Define new scene label, и в поле Label Name, введите метку сцены, названную daytime.
Измените цвет определения метки голубому, чтобы отразить природу метки сцены. Под параметром Color кликните по просмотру цветов и выберите стандартные голубые цвета. Затем нажмите OK, чтобы закрыть окно выбора цвета.
Оставьте набор параметров Group значению по умолчанию None и нажмите OK. Панель Scene Labels показывает определение меток сцены.

Проверьте определения метки

Проверьте, что ваши определения метки имеют эту настройку.

Вкладка ROI Labels содержит группу Vehicles с меткой car типа Rectangle/Cuboid.
Метка car содержит подметку под названием brakeLight.
Подметка brakeLight содержит атрибут под названием isOn.
Вкладка Scene Labels содержит голубую марку сцены под названием daytime.

Чтобы отредактировать или удалить определение метки, щелкните правой кнопкой по тому определению метки и выберите соответствующее редактирование или удалите опцию. Чтобы сохранить эти определения метки MAT-файлу для использования на будущих сеансах маркировки, на вкладке Label панели инструментов приложения, сначала выбирают Export. Затем в разделе Label Definitions выберите To File.

На будущих сеансах маркировки, если необходимо переупорядочить определения метки или переместить их к различным группам, можно перетащить мышью их в панелях определения метки.

Маркируйте Video Using Automation

Используйте метку car, чтобы пометить один из автомобилей во фрагменте видео. Чтобы помочь с процессом маркировки, используйте один из встроенных алгоритмов автоматизации метки.

Выберите область значений времени, чтобы пометить. Задайте интервал с 8 до 10 секунд, в течение которых автомобиль впереди близко к автомобилю, оборудованному датчиком. В текстовых полях ниже видео введите эти времена в этот порядок:
1. В поле Current введите 8.
2. В поле Start Time введите 8 так, чтобы ползунок был в начале области значений времени.
3. В поле End Time введите 10.
Ползунки области значений и текстовые поля установлены в эти 8–10 вторых интервалов. Красные флаги указывают на начало и конец интервала.
Системы координат сигнала отображений приложения только от этого интервала и алгоритмы автоматизации применяются только к этому интервалу. Чтобы расширить область значений времени, чтобы заполнить целый раздел воспроизведения, нажмите Zoom In Time Range.
Выберите метку, которую вы хотите автоматизировать. Во вкладке ROI Labels кликните по метке car.
Выберите алгоритм автоматизации, чтобы использовать. От панели инструментов приложения выберите Select Algorithm> Temporal Interpolator. Этот алгоритм оценивает прямоугольные ROI между фреймами изображения путем интерполяции местоположений ROI через область значений времени.
Выберите сигнал, что вы хотите автоматизировать. От панели инструментов приложения нажмите Select Signals. Затем в окне Select Signals выберите только видеосигнал и нажмите OK. Эта маркировка поддержек алгоритма только одного сигнала за один раз и сигнала облака точек использует различный алгоритм автоматизации.
Нажмите Automate. Приложение предлагает вам подтверждать, что вы хотите пометить только фрагмент видео. Нажмите Yes. Сеанс автоматизации для видео открывается. Правая панель сеанса автоматизации отображает инструкции по алгоритму.
В начале области значений времени перетащите, чтобы чертить метку car вокруг автомобиля в центре системы координат. Для этого алгоритма можно чертить только одну метку на систему координат. Маркировка другого автомобиля потребовала бы отдельного сеанса автоматизации.

По умолчанию метка car появляется только, когда вы перемещаете указатель через нее. Чтобы всегда отобразить метки, на панели инструментов приложения, устанавливают Show ROI Labels на Always.
Перетащите ползунок к последней системе координат и чертите метку car вокруг того же автомобиля в этой системе координат. Опционально, чтобы улучшить результаты автоматизации, пометьте автомобиль в промежуточных системах координат.
Нажмите Run. Алгоритм автоматизации применяет метку car к промежуточным системам координат. Перетащите ползунок, чтобы просмотреть результаты. При необходимости вручную настройте метки, чтобы улучшить их точность.
Когда вы будете удовлетворены результатами, нажмите Accept, чтобы закрыть сеанс и применить метки к этому фрагменту видео.

Маркируйте Point Cloud Sequence Using Automation

Используйте то же определение метки car из предыдущей процедуры, чтобы пометить автомобиль в последовательности облака точек. Чтобы помочь с процессом маркировки, используйте встроенный алгоритм автоматизации метки, спроектированный для маркировки облака точек. В этом примере вы помечаете автомобиль, оборудованный датчиком, который легче видеть в последовательности облака точек лидара, чем передний автомобиль.

В нижней части приложения проверьте, что область значений времени все еще установлена в 8 - 10 секунд.
В окне маркировки кликните по последовательности облака точек, чтобы выбрать его.
Во вкладке ROI Labels кликните по определению метки car.
На вкладке Label панели инструментов приложения выберите Select Algorithm> Point Cloud Temporal Interpolator. Этот алгоритм оценивает ROI кубоида между системами координат облака точек путем интерполяции местоположений ROI через область значений времени.
Нажмите Select Signals, выберите только сигнал облака точек и нажмите OK.
Нажмите Automate. Приложение предлагает вам подтверждать, что вы хотите пометить только фрагмент последовательности облака точек. Нажмите Yes. Сеанс автоматизации для последовательности облака точек открывается. Правая панель сеанса автоматизации отображает инструкции по алгоритму.
В начале области значений времени чертите метку car вокруг автомобиля, оборудованного датчиком.
1. Увеличьте масштаб автомобиля, с помощью или колесика прокрутки или кнопки Zoom In в верхнем правом углу системы координат. Можно также использовать кнопку Pan, чтобы сосредоточить автомобиль в системе координат.
2. На вкладке ROI Labels на левой панели кликните по метке car. Перетащите серый кубоид предварительного просмотра, пока он не подсветит автомобиль, оборудованный датчиком.
3. Кликните по системе координат сигнала, чтобы создать метку. Метка привязывается к подсвеченному фрагменту облака точек.
4. Настройте метку кубоида, пока она полностью не заключит автомобиль. Чтобы изменить размер кубоида, перетащите одну из поверхностей кубоида. Чтобы переместить кубоид, содержите Shift и перетащите одну из поверхностей кубоида.
5. Используйте спроектированное представление, чтобы настроить метку кубоида в виде сверху, виде сбоку и виде спереди одновременно. Под вкладкой Lidar в панели инструментов приложения выберите опцию Projected View от раздела Camera View, чтобы включить это представление.
  
  Для дополнительных советов и методов для маркировки облаков точек, смотрите, Маркируют Lidar Point Clouds for Object Detection.
Кликните по кубоиду и нажмите Ctrl+C, чтобы скопировать его. Затем перетащите ползунок к последней системе координат и нажмите Ctrl+V, чтобы вставить кубоид в новую систему координат в том же положении. Опционально, чтобы улучшить результаты автоматизации, вручную отрегулируйте положение скопированной метки.
Нажмите Run. Алгоритм автоматизации применяет метку car к промежуточным системам координат. Перетащите ползунок, чтобы просмотреть результаты. При необходимости вручную настройте метки, чтобы улучшить их точность.
Когда вы будете удовлетворены результатами, нажмите Accept, чтобы закрыть сеанс и применить метки к этому фрагменту последовательности облака точек.

Пометьте подметками и атрибутами вручную

Метка Manually одна система координат видео с подметкой brakeLight и ее атрибутом isOn. Сигналы облака точек лидара не поддерживают подметки и атрибуты, таким образом, вы не можете пометить последовательность облака точек.

В нижней части приложения проверьте, что область значений времени все еще установлена в 8 - 10 секунд. При необходимости перетащите ползунок к первой системе координат области значений времени.
Во вкладке ROI Labels кликните по определению подметки brakeLight, чтобы выбрать его.
Скройте последовательность облака точек. На вкладке Label панели инструментов приложения, под Show/Hide Signals, очищают галочку для последовательности облака точек лидара. Сокрытие сигнала только скрывает отображение. Приложение обеспечивает метки для скрытых сигналов, и можно все еще экспортировать их.
Расширьте видеосигнал, чтобы заполнить целое окно маркировки.
В видеокадре выберите чертившую метку car. Метка становится желтой. Необходимо выбрать метку car (родительский ROI), прежде чем можно будет добавить подметку в него.
Чертите подметки brakeLight для автомобиля. Опционально, установите Show ROI Labels на Always так, чтобы можно было подтвердить ассоциацию между меткой car и ее подметками.
На видеокадре выберите одну из подметок brakeLight. Затем на панели Attributes and Sublabels, устанавливает атрибут isOn на True. Повторите этот шаг для другой подметки.

Для получения дополнительной информации о работе с подметками и атрибутами, смотрите Подметки Использования и Атрибуты, чтобы Маркировать Ground Truth Data.

Маркируйте Scene Manually

Примените метку сцены daytime к целой сцене.

Расширьте область значений времени назад до целой длительности всех сигналов. Если вы увеличили масштаб области значений времени, сначала нажмите Zoom Out Time Interval. Затем перетащите красные флаги к началу и концу ползунка области значений.
На левой панели приложения выберите вкладку Scene Labels.
Выберите определение меток сцены daytime.
Выше определения метки нажмите Time Interval. Затем нажмите Add Label. Галочка появляется для метки сцены daytime, указывающей, что метка теперь применяется ко всем системам координат в области значений времени.

Просмотрите сводные данные метки

Со всеми метками подметки и атрибуты применились по крайней мере к одной системе координат сигнала, можно теперь опционально просмотреть визуальные сводные данные меток основной истины. На панели инструментов приложения нажмите View Label Summary. Для получения дополнительной информации, Сводные данные вида на море Меток Основной истины.

Сохраните сеанс приложения

На панели инструментов приложения выберите Save Session и сохраните MAT-файл сеанса приложения. Сохраненный сеанс включает источник данных, определения метки и помеченную основную истину. Это также включает ваши настройки сеанса, такие как размещение приложения.

Можно теперь или закрыть сеанс приложения или продолжить к Экспорту и Исследовать Метки Основной истины для Нескольких шага Сигналов, куда вы экспортируете метки.

Документация