Ground Truth Labeler

Пометьте достоверные данные для автоматизированных ведущих приложений

Описание

Приложение Ground Truth Labeler позволяет вам интерактивно помечать достоверные данные в нескольких видео, последовательностях изображений или облаках точек лидара. Используя приложение, вы можете:

Метка Simultaneously несколько перекрытых временем сигналов, представляющих ту же сцену.
Задайте прямоугольные метки видимой области (ROI), метки ROI ломаной линии, пиксельные метки ROI, метки ROI кубоида для маркировки лидара и определения метки сцены. Используйте эти метки, чтобы интерактивно помечать ваши достоверные данные.
Используйте встроенные алгоритмы обнаружения или отслеживания, чтобы пометить достоверные данные.
Запишите, импортируйте и используйте пользовательские алгоритмы автоматизации, чтобы автоматически пометить достоверные данные.
Оцените производительность своих алгоритмов автоматизации метки при помощи визуальных сводных данных.
Экспортируйте метки основной истины как groundTruthMultisignal объект. Можно использовать этот объект в системной верификации или в обучении сеть семантической сегментации или детектор объектов.
Отобразите синхронизируемые со временем сигналы, такие как данные о шине CAN, при помощи driving.connector.Connector API.

Чтобы узнать больше об этом приложении, смотрите Начало работы с Ground Truth Labeler.

Откройте приложение Ground Truth Labeler

MATLAB^® Toolstrip: На вкладке Apps, под Automotive, кликают по значку приложения.
Командная строка MATLAB: Введите groundTruthLabeler.

Примеры

Связанные примеры

Программируемое использование

развернуть все

`groundTruthLabeler`

groundTruthLabeler открывает новый сеанс приложения, позволяя вам пометить достоверные данные.

`groundTruthLabeler(videoFileName)`

groundTruthLabeler(videoFileName) открывает приложение и загружает входное видео. Видеофайлу должен был поддержать расширение VideoReader.

Пример: groundTruthLabeler('caltech_cordova1.avi')

`groundTruthLabeler(imageSeqFolder)`

groundTruthLabeler(imageSeqFolder) открывает приложение и загружает последовательность изображений от входной папки. image sequence является упорядоченным множеством изображений, которое напоминает видео.

imageSeqFolder должен быть строковый скаляр или вектор символов, который задает папку, содержащую файлы изображений. Файлам изображений должен был поддержать расширения imformats и загружаются в порядке, возвращенном dir функция.

Изображения в imageSeqFolder должен быть одного размера. Если изображения отличаются по размеру, приложение импортирует только изображения, которые являются одного размера с первым изображением в последовательности. Чтобы пометить набор неупорядоченных изображений, которые отличаются по размеру, используйте приложение Image Labeler вместо этого.

`groundTruthLabeler(imageSeqFolder,timestamps)`

groundTruthLabeler(imageSeqFolder,timestamps) открывает приложение и загружает последовательность изображений с их соответствующими метками времени. timestamps должен быть duration вектор той же длины как количество изображений в последовательности.

Например, загрузите последовательность дорожных изображений и их соответствующих меток времени в приложение.

imageDir = fullfile(toolboxdir('driving'),'drivingdata','roadSequence');
load(fullfile(imageDir,'timeStamps.mat'))
groundTruthLabeler(imageDir,timeStamps)

`groundTruthLabeler(___,'ConnectorTargetHandle',connector)`

groundTruthLabeler(___,'ConnectorTargetHandle',connector) открывает приложение и загружает оба из этих компонентов:

Видео или последовательность изображений сигнализирует, в зависимости от комбинации входных аргументов, которую вы задаете
Внешний инструмент анализа или визуализации, который синхронизируется со временем с заданным сигналом

connector вход является указателем на driving.connector.Connector класс, который реализует внешний инструмент.

Например, этот синтаксис открывает приложение с видеосигналом и синхронизировал инструмент визуализации лидара.

groundTruthLabeler('01_city_c2s_fcw_10s.mp4','ConnectorTargetHandle',@LidarDisplay);

Когда вам соединили внешний инструмент с сигналом в приложении, рассматриваете эти советы.

Если вы удаляете сигнал, который соединяется с инструментом, приложение отключает инструмент и закрывает его.
Сигналом, соединенным с инструментом, должен быть master signal, то есть, сигнал, метки времени которого используются в управлении воспроизведением в нижней части приложения. Если вы изменяете основной сигнал, приложение отключает инструмент и закрывает его.
Если при запуске новый сеанс приложения, приложение отключает инструмент и закрывает его.

`groundTruthLabeler(sessionFile)`

groundTruthLabeler(sessionFile) открывает приложение и загружает сохраненный сеанс приложения, sessionFile. sessionFile введите содержит путь и имя файла. MAT-файл, что sessionFile точки к содержат сохраненный сеанс.

Ограничения

Сигналы лидара не поддерживают линию или пиксельные метки ROI.
Пиксель и метки ROI кубоида не поддерживают подметки или атрибуты.
Окно Label Summary не поддерживает подметки или атрибуты

Больше о

развернуть все

Метки ROI, подметки и атрибуты

На левой стороне приложения панель ROI Labels содержит определения метки видимой области (ROI), которые можно отметить на системах координат. Можно создать определения метки непосредственно из этой панели. В качестве альтернативы можно создать определения метки программно при помощи labelDefinitionCreatorMultisignal возразите и затем импортируйте эти определения метки в сеанс приложения.

Поддержки приложений определение меток ROI, подметок и атрибутов.

Метки ROI

ROI label является меткой, которая соответствует видимой области (ROI) в системе координат сигнала. Таблица описывает поддерживаемые типы метки.

Метка ROI Описание Пример: управление сценой

Метка ROI	Описание	Пример: управление сценой
`Rectangle/Cuboid`	Чертите прямоугольные или кубовидные метки ROI вокруг объектов, в зависимости от типа сигнала. В сигналах изображений чертите прямоугольные метки ROI (2D ограничительные рамки). В сигналах лидара чертите кубовидные метки ROI (3-D ограничительные рамки). Для больше на маркировке лидара, смотрите, Маркируют Lidar Point Clouds for Object Detection.	Транспортные средства, пешеходы, дорожные знаки `Rectangle`: `Cuboid`:
`Line`	Чертите линейные метки ROI, чтобы представлять линии. Чтобы чертить полилинейный ROI, используйте две или больше точки.	Контуры маршрута, ограждения, дорожные ограничения
`Pixel label`	Присвойте метки пикселям для семантической сегментации. Можно пометить пиксели вручную с помощью многоугольников, кистей или заливки. Для больше на пиксельной маркировке, смотрите, Маркируют Pixels for Semantic Segmentation (Computer Vision Toolbox).	Транспортные средства, дорожное покрытие, деревья, тротуар

Rectangle/Cuboid

Чертите прямоугольные или кубовидные метки ROI вокруг объектов, в зависимости от типа сигнала.

В сигналах изображений чертите прямоугольные метки ROI (2D ограничительные рамки).
В сигналах лидара чертите кубовидные метки ROI (3-D ограничительные рамки). Для больше на маркировке лидара, смотрите, Маркируют Lidar Point Clouds for Object Detection.

Транспортные средства, пешеходы, дорожные знаки

Rectangle:

Cuboid:

Line

Чертите линейные метки ROI, чтобы представлять линии. Чтобы чертить полилинейный ROI, используйте две или больше точки.

Контуры маршрута, ограждения, дорожные ограничения

Pixel label

Присвойте метки пикселям для семантической сегментации. Можно пометить пиксели вручную с помощью многоугольников, кистей или заливки. Для больше на пиксельной маркировке, смотрите, Маркируют Pixels for Semantic Segmentation (Computer Vision Toolbox).

Транспортные средства, дорожное покрытие, деревья, тротуар

Подметки ROI

ROI sublabel является меткой ROI, которая принадлежит родительской метке. Используйте подметки ROI, чтобы обеспечить больший уровень детализации о ROI в ваших помеченных достоверных данных. Например, метка vehicle может содержать headlight, licensePlate и подметки wheel. Можно создать подметки только для прямоугольных и полилинейных меток. Для получения дополнительной информации о подметках, смотрите Подметки Использования и Атрибуты, чтобы Маркировать Ground Truth Data (Computer Vision Toolbox).

Атрибуты ROI

ROI attribute указывает дополнительную информацию о метке ROI или подметке. Например, в ведущей сцене, атрибуты могут включать тип или цвет транспортного средства. Таблица описывает поддерживаемые типы атрибута.

Припишите тип	Демонстрационное определение атрибута	Демонстрационные значения по умолчанию
`Numeric Value`
`String`
`Logical`
`List`

Для получения дополнительной информации об атрибутах, смотрите Подметки Использования и Атрибуты, чтобы Маркировать Ground Truth Data (Computer Vision Toolbox).

Советы

Чтобы избежать необходимости повторно помечать основную истину новыми метками, организуйте схему маркировки, которую вы хотите использовать прежде, чем отметить вашу основную истину.
Можно скопировать и вставить метки между сигналами, которые имеют тот же тип.

Алгоритмы

развернуть все

Можно использовать алгоритмы автоматизации метки, чтобы ускорить маркировку в рамках приложения. Чтобы создать ваш собственный алгоритм автоматизации метки, чтобы использовать в рамках приложения, смотрите, Создают Алгоритм Автоматизации для Маркировки (Computer Vision Toolbox). Можно также использовать один из предоставленных встроенных алгоритмов. Выполните эти шаги:

Загрузите данные, которые вы хотите пометить, и создать по крайней мере одно определение метки.
На панели инструментов приложения нажмите Select Algorithm и выберите один из встроенных алгоритмов автоматизации.
Нажмите Automate, и затем следуйте инструкциям по автоматизации на правой панели окна автоматизации.

Детектор транспортного средства ACF

Обнаружьте и пометьте транспортные средства с помощью совокупных функций канала (ACF). Этот алгоритм основан на vehicleDetectorACF функция. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну прямоугольную метку ROI. Вам не нужно рисовать какие-либо метки ROI.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Предварительно обученная модель детектора транспортного средства, которую алгоритм использует — 'full-view' модель была обучена с помощью незакрытых изображений передней стороны, задней части, покинутой, и правые стороны транспортных средств. 'front-rear-view' модель была обучена с помощью изображений только передних сторон и тыльных сторон транспортного средства.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения транспортных средств - когда прямоугольник ROI перекрывается больше, чем этот порог, алгоритм отбрасывает один из ROI.
Порог классификационной оценки для обнаружения транспортных средств — Увеличение счет, чтобы увеличить доверие предсказания алгоритма. Прямоугольники с баллами ниже этого порога отбрасываются.

Можно также сконфигурировать детектор с калиброванной монокулярной камерой путем импорта monoCamera объект в рабочее пространство MATLAB. Укажите диапазоны длины и ширины транспортного средства в мировых единицах измерения, таких как метры.

Детектор людей ACF

Обнаружьте и пометьте людей, использующих совокупные функции канала (ACF). Этот алгоритм основан на peopleDetectorACF функция. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну прямоугольную метку ROI. Вам не нужно рисовать какие-либо метки ROI.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Предварительно обученная модель детектора людей, которую алгоритм использует — 'inria-100x41' модель была обучена с помощью набора данных Inria person. 'caltech-50x21' модель была обучена с помощью набора пешеходных данных Калифорнийского технологического института.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения людей - когда прямоугольник ROI перекрывается больше, чем этот порог, алгоритм отбрасывает один из ROI.
Классификационный порог оценки для обнаружения людей-увеличение балла для повышения достоверности прогноза алгоритма. Прямоугольники с баллами ниже этого порога отбрасываются.

Укажите средство отслеживания

Отследите и пометьте одну или несколько прямоугольных меток ROI на коротких интервалах при помощи алгоритма Kanade-Lucas-Tomasi (KLT). Этот алгоритм основан на vision.PointTracker Система object™. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну прямоугольную метку ROI, но вы не должны чертить метки ROI.

Чтобы изменить анализатор, используемый, чтобы получить начальные точки для отслеживания, нажмите Settings. Эта таблица показывает варианты анализатора.

Анализатор	Описание	Эквивалентная функция
`Minimum Eigen Value`	Обнаружьте углы при помощи минимального алгоритма собственного значения.	`detectMinEigenFeatures`
`Harris`	Обнаружьте углы при помощи алгоритма Харриса-Стивенса.	`detectHarrisFeatures`
`FAST`	Обнаружьте углы при помощи алгоритма от ускоренного теста сегмента (FAST) функций.	`detectFASTFeatures`
`BRISK`	Обнаружьте функции при помощи алгоритма бинарного устойчивого инвариантного масштабируемого keypoints (BRISK).	`detectBRISKFeatures`
`KAZE`	Обнаружьте функции при помощи нелинейной диффузии, чтобы создать пробел шкалы изображения и затем обнаружение многошкальных угловых функций (функции KAZE) от того пробела шкалы.	`detectKAZEFeatures`
`SURF`	Обнаружьте функции блоба при помощи алгоритма ускоренных устойчивых функций (SURF).	`detectSURFFeatures`
`MSER`	Обнаружьте области при помощи алгоритма максимально устойчивых экстремальных областей (MSER).	`detectMSERFeatures`

Временный интерполятор

Оцените прямоугольные ROI между системами координат путем интерполяции местоположений ROI через временной интервал. Чтобы использовать этот алгоритм, необходимо чертить прямоугольный ROI на минимуме двух систем координат: один в начале интервала и один в конце интервала. Алгоритм интерполяции оценивает и чертит ROI в промежуточных системах координат.

Рассмотрите видео с 10 системами координат. Первой системе координат сосредоточили прямоугольный ROI в [5, 5]. 10-й системе координат сосредоточили прямоугольный ROI в [25, 25]. В каждой системе координат алгоритм перемещает ROI 2 пикселя в x - направление и 2 пикселя в y - направление. Поэтому алгоритм сосредотачивает ROI в [7, 7] во второй системе координат, [9, 9] в третьей системе координат, и так далее, до [23, 23] в предпоследней системе координат.

Облако точек временный интерполятор

Оцените ROI кубоида между системами координат облака точек путем интерполяции местоположений ROI через временной интервал. Чтобы использовать этот алгоритм, необходимо чертить ROI кубоида на минимуме двух систем координат: один в начале интервала и один в конце интервала. Алгоритм интерполяции оценивает и чертит ROI в промежуточных системах координат.

Рассмотрите последовательность облака точек с 10 системами координат. Первой системе координат сосредоточили ROI кубоида в [5, 5, 0]. 10-й системе координат сосредоточили ROI кубоида в [25, 25, 0]. В каждой системе координат алгоритм перемещает точки ROI 2 в x - направление, 2 точки в y - направление, и 0 точек в z - направление. Поэтому алгоритм сосредотачивает ROI в [7, 7, 0] во второй системе координат, [9, 9, 0] в третьей системе координат, и так далее, до [23, 23, 0] в предпоследней системе координат.

Детектор контура маршрута

Обнаружьте и пометьте контуры маршрута с помощью проецируемого изображения предполагаемого вида с высоты птичьего полета. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну метку ROI линии. Вам не нужно рисовать какие-либо метки ROI. Чтобы обнаружить контуры маршрута, алгоритм выполняет эти шаги:

Это высказывает исходное предположение при размещении контуров маршрута в изображении.
Это преобразовывает ROI вокруг маршрутов в изображение вида с высоты птичьего полета, чтобы заставить маршруты быть параллельными и удалить искажение.
Это использует это изображение, чтобы сегментировать контуры маршрута.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Размещение линий маршрута для генерации изображения вида с высоты птичьего полета
ROI вокруг маршрутов, которые можно расширить, чтобы включать больше, чем только контуры маршрута эго в изображении
Пиксельная ширина обнаруженных контуров маршрута в изображении

Можно также изменить количество контуров маршрута, которые вы хотите обнаружить. Количеством по умолчанию контуров маршрута является 2.

Вопросы совместимости

развернуть все

Приложение Ground Truth Labeler больше не экспортирует `groundTruth` объекты

Изменение поведения в будущем релизе

Если вы импортируете метки или открываете сеанс приложения, созданный, прежде чем R2020a, Ground Truth Labeler экспортирует маркированные данные как groundTruthMultisignal объект вместо как groundTruth объект.

Если вы не должны помечать несколько сигналов одновременно и не требуете маркировки лидара, импортируете метки или сеанс в приложение Video Labeler вместо этого. Приложение Video Labeler продолжает экспортировать groundTruth объекты.

Смотрите также

Документация

Ground Truth Labeler

Описание

Откройте приложение Ground Truth Labeler