Video Labeler

Маркируйте видео для приложений компьютерного зрения

Описание

Приложение Video Labeler позволяет вам пометить достоверные данные в видео, в последовательности изображений или из пользовательского считывателя источников данных. Используя приложение, вы можете:

Задайте прямоугольные метки видимых областей (ROI), метки ROI ломаной линии, пиксельные информации только для чтения и метки сцены. Используйте эти метки для интерактивной маркировки достоверных данных.
Используйте встроенные алгоритмы обнаружения или отслеживания, чтобы пометить достоверные данные.
Напишите, импортируйте и используйте свой собственный пользовательский алгоритм автоматизации, чтобы автоматически пометить основная истина. Смотрите Создание Алгоритма Автоматизации для Маркировки.
Оцените эффективность алгоритмов автоматизации меток с помощью визуальных сводных данных. Смотрите View Summary of Основная Истина Labels.
Экспортируйте помеченную основную истину как groundTruth объект. Можно использовать этот объект для верификации системы или для настройки детектора объектов или семантической сети сегментации. Смотрите Обучающие данные для обнаружения объектов и семантической сегментации.

Дополнительные сведения об этом приложении см. в разделе Запуске с Video Labeler.

Откройте приложение Video Labeler

MATLAB^® Панель инструментов: На вкладке Apps, в разделе Image Processing and Computer Vision, нажмите значок приложения.
Командная строка MATLAB: Ввод videoLabeler.

Примеры

Программное использование

расширить все

`videoLabeler`

videoLabeler открывает новый сеанс приложения, позволяющий пометить достоверные данные в последовательности видео или изображений.

`videoLabeler(videoFileName)`

videoLabeler(videoFileName) открывает приложение и загружает вход. Видео- файл должно иметь расширение, поддерживаемое VideoReader.

Пример: videoLabeler('vipmen.avi')

`videoLabeler(imageSeqFolder)`

videoLabeler(imageSeqFolder) открывает приложение и загружает image sequence из папки входа. image sequence является упорядоченным множеством изображений, которые напоминают видео.

imageSeqFolder должен быть строковым скаляром или вектором символов, который задает папку, содержащую файлы изображений. Файлы изображений должны иметь расширения, поддерживаемые imformats и загружаются в порядке, возвращенном dir функция.

`videoLabeler(imageSeqFolder,timestamps)`

videoLabeler(imageSeqFolder,timestamps) открывает приложение и загружает последовательность изображений с соответствующими временными метками. timestamps должен быть duration вектор той же длины, что и количество изображений в последовательности.

Например, загрузите последовательность изображений и соответствующих им временных меток в приложение.

imageDir = fullfile(toolboxdir('vision'),'visiondata','NewTsukuba');
timeStamps = seconds(1:150);
videoLabeler(imageDir,timeStamps)

`videoLabeler(gtSource)`

videoLabeler(gtSource) открывает приложение и загружает источник данных и соответствующие временные метки из groundTruthDataSource объект, gtSource. Чтобы сгенерировать этот объект для пользовательского источника данных, можно задать пользовательскую функцию reader. Для получения дополнительной информации смотрите Использовать Пользовательский Источник изображения для Маркировки.

`videoLabeler(sessionFile)`

videoLabeler(sessionFile) открывает приложение и загружает сохраненный сеанс приложения, sessionFile. The sessionFile вход содержит путь и имя файла. MAT-файл, который sessionFile точки на содержит сохраненный сеанс.

Ограничения

Встроенные алгоритмы автоматизации поддерживают автоматизацию только прямоугольных меток информация только для чтения. При выборе встроенного алгоритма и нажатия кнопки Automate метки сцен, пиксельные информации только для чтения метки, меток ROI ломаной линии, подметки и атрибуты не импортируются в сеанс автоматизации. Чтобы автоматизировать маркировку этих функций, создайте пользовательский алгоритм автоматизации. Смотрите Создание Алгоритма Автоматизации для Маркировки.
Пиксельные метки информация только для чтения не поддерживают подметки или атрибуты.
Окно Сводные Данные не поддерживает подметки или атрибуты

Подробнее о

расширить все

Метки информация только для чтения, подметки и атрибуты

В левой части приложения панель ROI Labels содержит видимая область (ROI) метки определений, которую можно пометить на системы координат. Определения меток можно создать непосредственно на этой панели. Также можно программно создать определения меток с помощью labelDefinitionCreator Объект и затем импортируйте эти определения меток в сеанс приложения.

Приложение поддерживает определение меток информация только для чтения, подметок и атрибутов.

Выбор ROI Label and Drawing Tool для вашего приложения

Можно использовать маркированные данные для проверки или обучения алгоритмов, таких как классификаторы изображений, детекторы объектов и сети семантической и образцы. Рассмотрите приложение при выборе инструмента для создания меток информация только для чтения. На рисунке ниже показаны методы маркировки для четырех различных применений.

Приложение	Типы меток	Пример
Классификация изображений	Н/Д	Лодка, самолет
Обнаружение объектов	Линия Прямоугольник Проекционный прямоугольник
Семантическая сегментация	Пиксельная метка Многоугольник
Сегментация образца	Многоугольник

Информации только для чтения

ROI label является меткой, которая соответствует видимой области (ROI) в сигнальной системе координат. Таблица описывает поддерживаемые типы меток.

Информация только для чтения	Описание	Сцена
`Rectangle`	Нарисуйте прямоугольные метки информация только для чтения (ограничивающие рамки) вокруг объектов.	Транспортные средства, пешеходы, дорожные знаки
`Projected cuboid`	Нарисуйте кубоидальные метки информация только для чтения (3-D ограничивающие рамки).
`Line`	Нарисуйте линейные метки информация только для чтения, чтобы представлять линии. Чтобы нарисовать информацию только для чтения полилинии, используйте две или более точек.	Контуры маршрута, защитные рельсы, дорожные бордюры
`Pixel label`	Назначьте метки пикселям для семантической сегментации. Можно пометить пиксели вручную с помощью многоугольников, кистей или заливки. Для получения дополнительной информации о маркировке пикселей смотрите Пиксели меток для семантической сегментации.	Транспортные средства, дорожное покрытие, деревья, дорожное покрытие
`Polygon`	Нарисуйте многоугольник информации только для чтения метки. Можно пометить отдельные образцы одного и того же класса. Для получения дополнительной информации о чертежах меток ROI многоугольника, например, и семантических сетей сегментации, см. «Маркировка объектов с использованием многоугольников»	Транспортные средства, дорожное покрытие, деревья, дорожное покрытие

Подметки информация только для чтения

ROI sublabel является меткой информация только для чтения, которая принадлежит родительской метке. Используйте информацию только для чтения подметки, чтобы предоставить больший уровень детализации о ROI в маркированных достоверных данных. Для примера метка vehicle может содержать headlight, licensePlate и wheel подметки. Можно создавать подметки только для прямоугольных и полилинейных меток. Для получения дополнительной информации о подметках смотрите Использование подметок и Атрибуты для маркировки Достоверные Данные.

Атрибуты ROI

ROI attribute задает дополнительные сведения о метке информация только для чтения или подметке. Для примера в сцене вождения атрибуты могут включать тип или цвет транспортного средства. Таблица описывает поддерживаемые типы атрибутов.

Тип атрибута	Пример определения атрибута	Пример значений по умолчанию
`Numeric Value`
`String`
`Logical`
`List`

Для получения дополнительной информации об атрибутах смотрите Использование подметок и Атрибуты для маркировки Достоверные Данные.

Совет

Чтобы избежать необходимости повторной маркировки основной истины с помощью новых меток, организуйте схему маркировки, которую вы хотите использовать, перед маркировкой основной истины.

Алгоритмы

расширить все

Вы можете использовать алгоритмы автоматизации меток, чтобы ускорить маркировку в приложении. Чтобы создать свой собственный алгоритм автоматизации меток для использования в приложении, см., Создают Алгоритм Автоматизации для Маркировки. Можно также использовать один из встроенных алгоритмов, выполнив следующие шаги:

Импортируйте данные, которые вы хотите пометить, и создайте по крайней мере одно определение метки.
На панели инструментов приложения нажмите Select Algorithm и выберите один из встроенных алгоритмов автоматизации.
Нажмите Automate, а затем следуйте инструкциям по автоматизации в правой панели окна автоматизации.

Детектор людей ACF

Обнаружение и маркировка людей, использующих совокупные функции канала (ACF). Этот алгоритм основан на peopleDetectorACF функция. Чтобы использовать этот алгоритм, вы должны задать хотя бы одну прямоугольную метку информация только для чтения. Вам не нужно рисовать какие-либо метки информация только для чтения.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Предварительно обученная модель детектора людей, которую использует алгоритм - The 'inria-100x41' модель была обучена с использованием набора данных Inria person. The 'caltech-50x21' модель была обучена с использованием набора данных Caltech Pedestrian.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения людей - когда прямоугольник ROI перекрывается больше, чем этот порог, алгоритм отбрасывает один из ROI.
Классификационный порог оценки для обнаружения людей-увеличение балла для повышения достоверности прогноза алгоритма. Прямоугольники с счетами ниже этого порога отбрасываются.

Трекер точек

Отследите и пометьте одну или несколько прямоугольных меток информация только для чтения с короткими интервалами с помощью алгоритма Канаде-Лукаса-Томази (KLT). Этот алгоритм основан на vision.PointTracker Системные object™. Чтобы использовать этот алгоритм, вы должны задать хотя бы один прямоугольник информации только для чтения, но вам не нужно рисовать какие-либо метки информация только для чтения.

Чтобы изменить детектор функций, используемый для получения начальных точек для отслеживания, нажмите Settings. В этой таблице показаны опции детектора функций.

Детектор функций	Описание	Эквивалентная функция
`Minimum Eigen Value`	Обнаружение углов при помощи алгоритма минимального собственного значения.	`detectMinEigenFeatures`
`Harris`	Обнаружение углов при помощи алгоритма Харриса-Стефенса.	`detectHarrisFeatures`
`FAST`	Обнаружение углов при помощи функций алгоритма ускоренного тестирования сегментов (FAST).	`detectFASTFeatures`
`BRISK`	Обнаружите функции с помощью двоичного устойчивого инвариантного масштабируемых точек ключа (BRISK) алгоритма.	`detectBRISKFeatures`
`KAZE`	Обнаружите функции с помощью нелинейной диффузии, чтобы создать шкалу пространство изображения, и затем обнаружите многомасштабные угловые функции (KAZE функций) из этой шкалы пространства.	`detectKAZEFeatures`
`SURF`	Обнаружение функций больших двоичных объектов с помощью алгоритма ускоренных устойчивых функций (SURF).	`detectSURFFeatures`
`MSER`	Обнаружите области с помощью максимально стабильного алгоритма экстремальных областей (MSER).	`detectMSERFeatures`

Временная интерполяция

Оцените ROI прямоугольника между системами координат путем интерполяции местоположений информация только для чтения через временной интервал. Чтобы использовать этот алгоритм, необходимо нарисовать прямоугольник информация только для чтения как минимум на двух системах координат: один в начале интервала и один в конце интервала. Алгоритм интерполяции оценивает и рисует ROI в промежуточных системах координат.

Рассмотрим видео с 10 системами координат. Первая система координат имеет прямоугольник информация только для чтения с центром [5, 5]. 10-ая система координат имеет прямоугольник информация только для чтения с центром [25, 25]. В каждой системе координат алгоритм перемещает информация только для чтения 2 пикселя в x -направлении и 2 пикселя в y -направлении. Поэтому алгоритм центрирует информация только для чтения на [7, 7] во второй системе координат, [9, 9] в третьей системе координат и так далее, до [23, 23] во второй-последней системе координат.

Транспортное средство ACF (требует Automated Driving Toolbox)

Обнаружение и маркировка транспортных средств с помощью совокупных функций канала (ACF). Этот алгоритм основан на vehicleDetectorACF (Automated Driving Toolbox) функция. Чтобы использовать этот алгоритм, вы должны задать хотя бы одну прямоугольную метку информация только для чтения. Вам не нужно рисовать какие-либо метки информация только для чтения.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Предварительно обученная модель детектора транспортных средств, которую использует алгоритм - The 'full-view' модель обучалась с использованием незакрытых изображений передней, задней, левой и правой сторон транспортных средств. The 'front-rear-view' модель обучалась с использованием изображений только передней и задней сторон транспортного средства.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения транспортных средств - когда прямоугольник ROI перекрывается больше, чем этот порог, алгоритм отбрасывает один из ROI.
Классификационная оценка для обнаружения транспортных средств - увеличение счета для повышения доверия предсказания алгоритма. Прямоугольники с счетами ниже этого порога отбрасываются.

Можно также сконфигурировать детектор с калиброванной монокулярной камерой путем импорта monoCamera (Automated Driving Toolbox) объект в рабочее пространство MATLAB. Задайте области значений длины и ширины транспортного средства в мировых единицах измерения, таких как метры.

Детектор контуров маршрута (требует Automated Driving Toolbox)

Обнаружение и маркировка контуров маршрута с помощью предполагаемого проективного изображения вида птицы. Чтобы использовать этот алгоритм, вы должны задать хотя бы одну линию информации только для чтения. Вам не нужно рисовать какие-либо метки информация только для чтения. Чтобы обнаружить контуры маршрута, алгоритм выполняет следующие шаги:

Это делает начальное предположение о размещении контуров маршрута на изображении.
Он преобразует информация только для чтения вокруг полос в изображение вида птичьего полета, чтобы сделать полосы параллельными и удалить искажения.
Это изображение используется для сегментации контуров маршрута.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Размещение линий маршрута для генерации изображения вида птичьего полета
Информация только для чтения вокруг полос, который можно расширить, чтобы включить в изображение больше, чем просто контуры ego lane
Ширина пикселей обнаруженных контуров маршрута в изображении

Можно также изменить количество контуров маршрута, которые необходимо обнаружить. Количество контуров маршрута по умолчанию 2.

См. также

Приложения

Image Labeler | Ground Truth Labeler (Automated Driving Toolbox) | Lidar Labeler (Lidar Toolbox)

Документация

Video Labeler

Описание

Откройте приложение Video Labeler

Примеры

Похожие примеры

Программное использование

`videoLabeler`

`videoLabeler(videoFileName)`

`videoLabeler(imageSeqFolder)`

`videoLabeler(imageSeqFolder,timestamps)`

`videoLabeler(gtSource)`

`videoLabeler(sessionFile)`

Ограничения

Подробнее о

Метки информация только для чтения, подметки и атрибуты

Совет

Алгоритмы

Детектор людей ACF

Трекер точек

Временная интерполяция

Транспортное средство ACF (требует Automated Driving Toolbox)

Детектор контуров маршрута (требует Automated Driving Toolbox)

См. также

Приложения

Функции

Объекты

Темы

Документация по Computer Vision Toolbox

Поддержка