Этикетировщик видео

Наклейка видео для приложений компьютерного зрения

Описание

Приложение Video Labeler позволяет маркировать основные истинные данные в видео, в последовательности изображений или из пользовательского устройства чтения источников данных. С помощью приложения можно:

Определите прямоугольные области, представляющие интерес (ROI), метки окупаемости полилинии, метки окупаемости пикселя и метки сцены. Используйте эти метки для интерактивной маркировки данных истинности земли.
Используйте встроенные алгоритмы обнаружения или слежения, чтобы маркировать ваши наземные данные.
Пишите, импортируйте и используйте свой собственный алгоритм автоматизации, чтобы автоматически маркировать истинность основания. См. раздел Создание алгоритма автоматизации для маркировки.
Оцените производительность алгоритмов автоматизации этикеток с помощью визуальной сводки. См. раздел Просмотр сводки меток истинности основания.
Экспортировать помеченную истину основания как groundTruth объект. Этот объект можно использовать для проверки системы или для обучения детектора объекта или семантической сети сегментации. См. раздел Учебные данные для обнаружения объектов и семантической сегментации.

Дополнительные сведения об этом приложении см. в разделе Начало работы с приложением Video Labeler.

Откройте приложение Video Labeler

MATLAB ® Toolstrip: На вкладке Приложения в разделе Обработка изображений и компьютерное видение щелкните значок приложения.
командная строка MATLAB: Enter videoLabeler.

Примеры

Связанные примеры

Начало работы с приложением Video Labeler

Программное использование

развернуть все

`videoLabeler`

videoLabeler открывает новый сеанс приложения, позволяя маркировать основные истинные данные в видео или последовательности изображений.

`videoLabeler(videoFileName)`

videoLabeler(videoFileName) открывает приложение и загружает входное видео. Видеофайл должен иметь расширение, поддерживаемое VideoReader.

Пример: videoLabeler('vipmen.avi')

`videoLabeler(imageSeqFolder)`

videoLabeler(imageSeqFolder) открывает приложение и загружает последовательность изображений из папки ввода. Последовательность изображений представляет собой упорядоченный набор изображений, которые напоминают видео.

imageSeqFolder должен быть строковым скалярным или символьным вектором, указывающим папку, содержащую файлы изображений. Файлы изображений должны иметь расширения, поддерживаемые imformats и загружаются в порядке, возвращенном dir функция.

`videoLabeler(imageSeqFolder,timestamps)`

videoLabeler(imageSeqFolder,timestamps) открывает приложение и загружает последовательность изображений с соответствующими метками времени. timestamps должно быть duration вектор той же длины, что и количество изображений в последовательности.

Например, загрузите последовательность изображений и соответствующие им метки времени в приложение.

imageDir = fullfile(toolboxdir('vision'),'visiondata','NewTsukuba');
timeStamps = seconds(1:150);
videoLabeler(imageDir,timeStamps)

`videoLabeler(gtSource)`

videoLabeler(gtSource) открывает приложение и загружает источник данных и соответствующие временные метки из groundTruthDataSource объект, gtSource. Чтобы создать этот объект для пользовательского источника данных, можно указать пользовательскую функцию чтения. Дополнительные сведения см. в разделе Использование программы чтения пользовательских источников изображений для маркировки.

`videoLabeler(sessionFile)`

videoLabeler(sessionFile) открывает приложение и загружает сохраненный сеанс приложения, sessionFile. sessionFile содержит путь и имя файла. MAT-файл, sessionFile указывает, содержит ли сохраненный сеанс.

Ограничения

Встроенные алгоритмы автоматизации поддерживают автоматизацию только прямоугольных меток окупаемости инвестиций. Если выбрать встроенный алгоритм и щелкнуть Автоматизировать (Automate), метки сцен, пиксельные метки окупаемости инвестиций, метки окупаемости инвестиций в полилинию, подметки и атрибуты не импортируются в сеанс автоматизации. Чтобы автоматизировать маркировку этих функций, создайте пользовательский алгоритм автоматизации. См. раздел Создание алгоритма автоматизации для маркировки.
Пиксельные метки ROI не поддерживают суббнаки или атрибуты.
Окно Сводка по меткам (Label Summary) не поддерживает подмаркировки или атрибуты

Подробнее

развернуть все

Метки окупаемости инвестиций, субкниги и атрибуты

В левой части окна «Метки окупаемости инвестиций» содержатся определения меток интересующей области (ROI), которые можно пометить на кадрах. Определения меток можно создавать непосредственно на этой панели. Можно также создать определения меток программным путем с помощью labelDefinitionCreator и затем импортировать эти определения меток в сеанс приложения.

Приложение поддерживает определение меток окупаемости инвестиций, суббнаков и атрибутов.

Выбор метки окупаемости инвестиций и инструмента рисования для приложения

Помеченные данные можно использовать для проверки или обучения алгоритмов, таких как классификаторы изображений, детекторы объектов и семантические сети и сети сегментации экземпляров. Рассмотрите приложение при выборе инструмента рисования меток для создания меток окупаемости инвестиций. На рисунке ниже показаны методы маркировки для четырех различных приложений.

Приложение	Типы меток	Пример
Классификация изображений	Н/Д	Лодка, Самолет
Обнаружение объектов	Линия Прямоугольник Спроецированный прямоугольник
Семантическая сегментация	Пиксельная метка Многоугольник
Сегментация экземпляра	Многоугольник

Метки окупаемости инвестиций

Метка ROI представляет собой метку, которая соответствует интересующей области (ROI) в сигнальном кадре. В таблице описаны поддерживаемые типы меток.

Метка окупаемости инвестиций	Описание	Сцена
`Rectangle`	Нарисуйте вокруг объектов прямоугольные метки окупаемости инвестиций (ограничивающие рамки).	Транспортные средства, пешеходы, дорожные знаки
`Projected cuboid`	Нарисуйте кубоидальные метки окупаемости инвестиций (3-D ограничивающие рамки).
`Line`	Нарисуйте линейные метки окупаемости инвестиций для представления линий. Для построения полилинии необходимо использовать две или более точек.	Границы полос, ограждающие рельсы, дорожные бордюры
`Pixel label`	Назначение меток пикселям для семантической сегментации. Можно маркировать пикселы вручную с помощью полигонов, кистей или заливки заливкой. Дополнительные сведения о маркировке пикселей см. в разделе Пиксели меток для семантической сегментации.	Транспортные средства, дорожное покрытие, деревья, дорожное покрытие
`Polygon`	Нарисуйте метки окупаемости инвестиций в многоугольники. Можно маркировать отдельные экземпляры одного класса. Дополнительные сведения о рисовании меток окупаемости инвестиций для полигонов и семантических сетей сегментации см. в разделе Объекты-метки с использованием полигонов.	Транспортные средства, дорожное покрытие, деревья, дорожное покрытие

Поднакладки ROI

Подмаркировка ROI - это метка ROI, которая принадлежит родительской метке. Используйте подмаркировку ROI, чтобы предоставить более подробную информацию о ROI в помеченных данных истинности земли. Например, этикетка транспортного средства может содержать фару, licensePlate и подметку колеса. Надписи можно создавать только для прямоугольных меток и меток полилиний. Дополнительные сведения о суббаллах см. в разделе Использование суббалл и атрибутов для маркировки данных истинности основания.

Атрибуты окупаемости инвестиций

Атрибут ROI указывает дополнительную информацию о метке ROI или субкниге. Например, в сцене вождения атрибуты могут включать тип или цвет транспортного средства. В таблице описаны поддерживаемые типы атрибутов.

Тип атрибута	Образец определения атрибута	Примеры значений по умолчанию
`Numeric Value`
`String`
`Logical`
`List`

Дополнительные сведения об атрибутах см. в разделе Использование суббнаков и атрибутов для маркировки данных истинности основания.

Совет

Чтобы избежать необходимости повторно маркировать истину земли новыми метками, организуйте схему маркировки, которую вы хотите использовать, прежде чем маркировать истину земли.

Алгоритмы

развернуть все

Вы можете использовать алгоритмы автоматизации наклеек для ускорения маркировки в приложении. Чтобы создать собственный алгоритм автоматизации наклеек для использования в приложении, см. раздел Создание алгоритма автоматизации для маркировки. Можно также использовать один из встроенных алгоритмов, выполнив следующие действия.

Импортируйте данные, которые требуется пометить, и создайте хотя бы одно определение метки.
На панели инструментов приложения щелкните Выбрать алгоритм и выберите один из встроенных алгоритмов автоматизации.
Щелкните Автоматизировать (Automate), а затем следуйте инструкциям по автоматизации на правой панели окна автоматизации.

Детектор людей ACF

Обнаружение и маркировка людей с использованием агрегированных функций канала (ACF). Этот алгоритм основан на peopleDetectorACF функция. Чтобы использовать этот алгоритм, необходимо определить хотя бы одну метку ROI прямоугольника. Не требуется рисовать метки окупаемости инвестиций.

Чтобы улучшить результаты алгоритма, сначала щелкните Настройки (Settings). Можно изменить любую из этих настроек.

Предварительно обученная модель детектора людей, которую использует алгоритм - 'inria-100x41' модель была обучена с использованием набора данных человека INRIA. 'caltech-50x21' модель была обучена с использованием набора данных Caltech Peduan.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения людей - Когда ROI прямоугольника перекрываются более чем на этот порог, алгоритм отбрасывает один из ROI.
Порог оценки классификации для обнаружения людей - увеличение оценки для повышения достоверности прогнозирования алгоритма. Прямоугольники с баллами ниже этого порога отбрасываются.

Отслеживание точек

С помощью алгоритма Канаде-Лукаса-Томази (KLT) можно отслеживать и маркировать одну или несколько меток окупаемости инвестиций в прямоугольник на коротких интервалах. Этот алгоритм основан на vision.PointTracker object™ системы. Чтобы использовать этот алгоритм, необходимо определить хотя бы одну метку ROI прямоугольника, но не нужно рисовать метки ROI.

Чтобы изменить детектор функций, используемый для получения начальных точек для отслеживания, щелкните Настройки. В этой таблице представлены опции детектора функций.

Детектор характеристик	Описание	Эквивалентная функция
`Minimum Eigen Value`	Определите углы с помощью алгоритма минимального собственного значения.	`detectMinEigenFeatures`
`Harris`	Определите углы с помощью алгоритма Харриса-Стивенса.	`detectHarrisFeatures`
`FAST`	Обнаружение углов с помощью функций алгоритма ускоренного тестирования сегментов (FAST).	`detectFASTFeatures`
`BRISK`	Обнаружение функций с помощью двоичного алгоритма надежных инвариантных масштабируемых ключевых точек (BRISK).	`detectBRISKFeatures`
`KAZE`	Обнаружение элементов с помощью нелинейной диффузии для построения масштабного пространства изображения, а затем обнаружение многомасштабных угловых элементов (элементов KAZE) из этого масштабного пространства.	`detectKAZEFeatures`
`SURF`	Обнаружение элементов больших двоичных объектов с помощью алгоритма ускоренных надежных элементов (SURF).	`detectSURFFeatures`
`MSER`	Обнаружение областей с использованием алгоритма максимально стабильных экстремальных областей (MSER).	`detectMSERFeatures`

Временной интерполятор

Оценка ROI прямоугольника между кадрами путем интерполяции местоположений ROI через интервал времени. Для использования этого алгоритма необходимо нарисовать ROI прямоугольника минимум на двух кадрах: один в начале интервала и один в конце интервала. Алгоритм интерполяции оценивает и рисует ROI в промежуточных кадрах.

Рассмотрим видео с 10 кадрами. Первый кадр имеет прямоугольник ROI с центром в [5, 5]. 10-й кадр имеет прямоугольник ROI с центром [25, 25]. В каждом кадре алгоритм перемещает 2 пикселя ROI в направлении x и 2 пикселя в направлении y. Поэтому алгоритм центрирует ROI на [7, 7] во втором кадре, [9, 9] в третьем кадре и так далее до [23, 23] во втором-последнем кадре.

Детектор автомобиля ACF (требуется автоматическая панель инструментов вождения)

Обнаружение и маркировка транспортных средств с использованием агрегированных характеристик каналов (ACF). Этот алгоритм основан на vehicleDetectorACF (Автоматическая панель инструментов вождения). Чтобы использовать этот алгоритм, необходимо определить хотя бы одну метку ROI прямоугольника. Не требуется рисовать метки окупаемости инвестиций.

Предварительно обученная модель детектора транспортного средства, которую использует алгоритм - 'full-view' модель обучалась с использованием незакрытых изображений передней, задней, левой и правой сторон транспортных средств. 'front-rear-view' модель обучалась с использованием изображений только передней и задней сторон транспортного средства.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения транспортных средств - Когда ROI прямоугольника перекрываются более чем на этот порог, алгоритм отбрасывает один из ROI.
Порог оценки классификации для обнаружения транспортных средств - увеличение оценки для повышения достоверности прогнозирования алгоритма. Прямоугольники с баллами ниже этого порога отбрасываются.

Можно также настроить детектор с помощью калиброванной монокулярной камеры, импортировав monoCamera Объект (Automated Driving Toolbox) в рабочем пространстве MATLAB. Укажите диапазон длины и ширины транспортного средства в мировых единицах измерения, таких как метры.

Детектор границ полосы движения (требуется автоматическая панель инструментов вождения)

Обнаружение и маркировка границ полосы движения с помощью расчетного проецируемого изображения с видом на птицу. Для использования этого алгоритма необходимо определить хотя бы одну метку ROI строки. Не требуется рисовать метки окупаемости инвестиций. Чтобы определить границы полосы, алгоритм выполняет следующие действия:

При размещении границ полосы движения на изображении создается начальная догадка.
Он преобразует ROI вокруг полос в изображение с видом на птицу, чтобы сделать полосы параллельными и устранить искажение.
Это изображение используется для сегментации границ полосы движения.

Размещение линий полосы для формирования изображения с видом на птицу
Окупаемость инвестиций (ROI) вокруг полос движения, которую можно расширить, чтобы включить в изображение не только границы полосы эго
Ширина пикселя обнаруженных границ полосы на изображении

Можно также изменить количество границ полос движения, которые требуется обнаружить. Количество границ полос движения по умолчанию: 2.

См. также

Темы

Представлен в R2018b

Документация

Этикетировщик видео

Описание

Откройте приложение Video Labeler

Примеры

Связанные примеры

Программное использование

`videoLabeler`

`videoLabeler(videoFileName)`

`videoLabeler(imageSeqFolder)`

`videoLabeler(imageSeqFolder,timestamps)`

`videoLabeler(gtSource)`

`videoLabeler(sessionFile)`

Ограничения

Подробнее

Метки окупаемости инвестиций, субкниги и атрибуты

Совет

Алгоритмы

Детектор людей ACF

Отслеживание точек

Временной интерполятор

Детектор автомобиля ACF (требуется автоматическая панель инструментов вождения)

Детектор границ полосы движения (требуется автоматическая панель инструментов вождения)

См. также

Приложения

Функции

Объекты

Темы

Документация по инструментарию компьютерного зрения

Поддержка