Video Labeler

Пометьте видео для приложений компьютерного зрения

Описание

Приложение Video Labeler позволяет вам пометить достоверные данные в видео в последовательности изображений, или от пользовательского читателя источника данных. Используя приложение, вы можете:

Задайте прямоугольные метки видимых областей (ROI), метки ROI ломаной линии, пиксельные метки ROI и метки сцены. Используйте эти метки, чтобы интерактивно помечать ваши достоверные данные.
Используйте встроенные алгоритмы обнаружения или отслеживания, чтобы пометить ваши достоверные данные.
Запишите, импортируйте и используйте свой собственный алгоритм автоматизации, чтобы автоматически пометить основную истину. Смотрите Создают Алгоритм Автоматизации для Маркировки.
Оцените эффективность своих алгоритмов автоматизации метки с помощью визуальных сводных данных. Сводные данные Вида на море Меток Основной истины.
Экспортируйте помеченную основную истину как groundTruth объект. Можно использовать этот объект для системной верификации или для обучения сеть семантической сегментации или детектор объектов. Смотрите Обучающие данные для Обнаружения объектов и Семантической Сегментации.

Чтобы узнать больше об этом приложении, смотрите Начало работы с Video Labeler.

Откройте приложение Video Labeler

MATLAB^® Панель инструментов: На вкладке Apps, под Image Processing and Computer Vision, кликают по значку приложения.
Командная строка MATLAB: Войти videoLabeler.

Примеры

Связанные примеры

Начало работы с Video Labeler

Программируемое использование

развернуть все

`videoLabeler`

videoLabeler открывает новый сеанс приложения, позволяя вам пометить достоверные данные в видео или последовательности изображений.

`videoLabeler(videoFileName)`

videoLabeler(videoFileName) открывает приложение и загружает входное видео. Видеофайлу должен был поддержать расширение VideoReader.

Пример: videoLabeler('vipmen.avi')

`videoLabeler(imageSeqFolder)`

videoLabeler(imageSeqFolder) открывает приложение и загружает последовательность изображений от входной папки. image sequence является упорядоченным множеством изображений, которые напоминают видео.

imageSeqFolder должен быть строковый скаляр или вектор символов, который задает папку, содержащую файлы изображений. Файлам изображений нужно было поддержать расширения imformats и загружаются в порядке, возвращенном dir функция.

`videoLabeler(imageSeqFolder,timestamps)`

videoLabeler(imageSeqFolder,timestamps) открывает приложение и загружает последовательность изображений с их соответствующими метками времени. timestamps должен быть duration вектор из той же длины как количество изображений в последовательности.

Например, загрузите последовательность изображений и их соответствующих меток времени в приложение.

imageDir = fullfile(toolboxdir('vision'),'visiondata','NewTsukuba');
timeStamps = seconds(1:150);
videoLabeler(imageDir,timeStamps)

`videoLabeler(gtSource)`

videoLabeler(gtSource) открывает приложение и загружает источник данных и соответствующие метки времени от groundTruthDataSource объект, gtSource. Чтобы сгенерировать этот объект для пользовательского источника данных, можно задать пользовательскую функцию читателя. Для получения дополнительной информации смотрите Исходного Читателя Пользовательского изображения Использования для Маркировки.

`videoLabeler(sessionFile)`

videoLabeler(sessionFile) открывает приложение и загружает сохраненный сеанс приложения, sessionFile. sessionFile введите содержит путь и имя файла. MAT-файл, что sessionFile точки к содержат сохраненный сеанс.

`videoLabeler(gTruth)`

videoLabeler(gTruth) открывает приложение и загружает groundTruth объект. Вы не должны добавлять видео прежде, чем загрузить объект. Источник данных объектов основной истины должен быть последовательностью изображений, видео или пользовательским источником данных.

Ограничения

Встроенные алгоритмы автоматизации поддерживают автоматизацию прямоугольных меток ROI только. Когда вы выбираете встроенный алгоритм и нажимаете Automate, метки сцены, пиксельные метки ROI, метки ROI ломаной линии, подметки, и атрибуты не импортируются в сеанс автоматизации. Чтобы автоматизировать маркировку этих функций, создайте пользовательский алгоритм автоматизации. Смотрите Создают Алгоритм Автоматизации для Маркировки.
Пиксельные метки ROI не поддерживают подметки или атрибуты.
Окно Label Summary не поддерживает подметки или атрибуты

Больше о

развернуть все

Метки ROI, подметки и атрибуты

На левой стороне приложения панель ROI Labels содержит определения метки видимой области (ROI), которые можно отметить на системах координат. Можно создать определения метки непосредственно из этой панели. В качестве альтернативы можно создать определения метки программно при помощи labelDefinitionCreator возразите и затем импортируйте эти определения метки в сеанс приложения.

Поддержки приложений определение меток ROI, подметок и атрибутов.

Выбор метки ROI и инструмента для рисования для приложения

Можно использовать маркированные данные, чтобы подтвердить или обучить алгоритмы, такие как классификаторы изображений, детекторы объектов, и семантический и сети сегментации экземпляра. Рассмотрите свое заявление при выборе инструмента для рисования маркировки, чтобы создать метки ROI. Рисунок ниже показывает методы маркировки для четырех различных приложений.

Приложение	Маркируйте Types	Пример
Отобразите классификацию	N/A	Лодка, плоскость
Обнаружение объектов	Строка Прямоугольник Спроектированный прямоугольник
Семантическая Сегментация	Метка Pixel Многоугольник
Сегментация экземпляра	Многоугольник

Метки ROI

ROI label является меткой, которая соответствует видимой области (ROI) в системе координат сигнала. Таблица описывает поддерживаемые типы метки.

Метка ROI	Описание	Сцена
`Rectangle`	Чертите прямоугольные (ограничительные рамки) меток ROI вокруг объектов.	Транспортные средства, пешеходы, дорожные знаки
`Projected cuboid`	Чертите кубовидные метки ROI (3-D ограничительные рамки).
`Line`	Чертите линейные метки ROI, чтобы представлять линии. Чтобы чертить полилинейный ROI, используйте две или больше точки.	Контуры маршрута, ограждения, дорожные ограничения
`Pixel label`	Присвойте метки пикселям для семантической сегментации. Можно пометить пиксели вручную с помощью многоугольников, кистей или заливки. Для больше на пиксельной маркировке, смотрите, Маркируют Pixels for Semantic Segmentation.	Транспортные средства, дорожное покрытие, деревья, тротуар
`Polygon`	Чертите метки ROI многоугольника. Можно пометить отличные экземпляры того же класса. Для получения дополнительной информации о рисовании меток ROI многоугольника, например, и сетей семантической сегментации, смотрите, Маркируют Objects Using Polygons	Транспортные средства, дорожное покрытие, деревья, тротуар

Подметки ROI

ROI sublabel является меткой ROI, которая принадлежит родительской метке. Используйте подметки ROI, чтобы обеспечить больший уровень детализации о ROI в ваших помеченных достоверных данных. Например, метка vehicle может содержать headlight, licensePlate и подметки wheel. Можно создать подметки только для прямоугольных и полилинейных меток. Для получения дополнительной информации о подметках, смотрите Подметки Использования и Атрибуты, чтобы Маркировать Ground Truth Data.

Атрибуты ROI

ROI attribute указывает дополнительную информацию о метке ROI или подметке. Например, в ведущей сцене, атрибуты могут включать тип или цвет транспортного средства. Таблица описывает поддерживаемые типы атрибута.

Припишите тип	Демонстрационное определение атрибута	Демонстрационные значения по умолчанию
`Numeric Value`
`String`
`Logical`
`List`

Для получения дополнительной информации об атрибутах, смотрите Подметки Использования и Атрибуты, чтобы Маркировать Ground Truth Data.

Советы

Чтобы избежать необходимости повторно помечать основную истину новыми метками, организуйте схему маркировки, которую вы хотите использовать прежде, чем отметить вашу основную истину.

Алгоритмы

развернуть все

Можно использовать алгоритмы автоматизации метки, чтобы ускорить маркировку в рамках приложения. Чтобы создать ваш собственный алгоритм автоматизации метки, чтобы использовать в рамках приложения, смотрите, Создают Алгоритм Автоматизации для Маркировки. Можно также использовать один из встроенных алгоритмов путем выполнения этих шагов:

Импортируйте данные, которые вы хотите пометить, и создать по крайней мере одно определение метки.
На панели инструментов приложения нажмите Select Algorithm и выберите один из встроенных алгоритмов автоматизации.
Нажмите Automate, и затем следуйте инструкциям по автоматизации на правой панели окна автоматизации.

Детектор людей ACF

Обнаружьте и пометьте людей, использующих совокупные функции канала (ACF). Этот алгоритм на основе peopleDetectorACF функция. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну прямоугольную метку ROI. Вам не нужно рисовать какие-либо метки ROI.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Предварительно обученная модель детектора людей, которую алгоритм использует — 'inria-100x41' модель была обучена с помощью набора данных Inria person. 'caltech-50x21' модель была обучена с помощью набора пешеходных данных Калифорнийского технологического института.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения людей - когда прямоугольник ROI перекрывается больше, чем этот порог, алгоритм отбрасывает один из ROI.
Классификационный порог оценки для обнаружения людей-увеличение балла для повышения достоверности прогноза алгоритма. Прямоугольники с баллами ниже этого порога отбрасываются.

Укажите средство отслеживания

Отследите и пометьте одну или несколько прямоугольных меток ROI на коротких интервалах при помощи алгоритма Kanade-Lucas-Tomasi (KLT). Этот алгоритм основан на vision.PointTracker Система object™. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну прямоугольную метку ROI, но вы не должны чертить метки ROI.

Чтобы изменить анализатор, используемый, чтобы получить начальные точки для отслеживания, нажмите Settings. Эта таблица показывает варианты анализатора.

Анализатор	Описание	Эквивалентная функция
`Minimum Eigen Value`	Обнаружьте углы при помощи минимального алгоритма собственного значения.	`detectMinEigenFeatures`
`Harris`	Обнаружьте углы при помощи алгоритма Харриса-Стивенса.	`detectHarrisFeatures`
`FAST`	Обнаружьте углы при помощи алгоритма от ускоренного теста сегмента (FAST) функций.	`detectFASTFeatures`
`BRISK`	Обнаружьте функции при помощи алгоритма бинарного устойчивого инвариантного масштабируемого keypoints (BRISK).	`detectBRISKFeatures`
`KAZE`	Обнаружьте функции при помощи нелинейной диффузии, чтобы создать пробел шкалы изображения и затем обнаружение многошкальных угловых функций (функции KAZE) от того пробела шкалы.	`detectKAZEFeatures`
`SURF`	Обнаружьте функции блоба при помощи алгоритма ускоренных устойчивых функций (SURF).	`detectSURFFeatures`
`MSER`	Обнаружьте области при помощи алгоритма максимально устойчивых экстремальных областей (MSER).	`detectMSERFeatures`

Временный интерполятор

Оцените прямоугольные ROI между системами координат путем интерполяции местоположений ROI через область значений времени. Чтобы использовать этот алгоритм, необходимо чертить прямоугольный ROI на минимуме двух систем координат: один в начале интервала и один в конце интервала. Алгоритм интерполяции оценивает и чертит ROI в промежуточных системах координат.

Рассмотрите видео с 10 системами координат. Первой системе координат сосредоточили прямоугольный ROI в [5, 5]. 10-й системе координат сосредоточили прямоугольный ROI в [25, 25]. В каждой системе координат алгоритм перемещает ROI 2 пикселя в x - направление и 2 пикселя в y - направление. Поэтому алгоритм сосредотачивает ROI в [7, 7] во второй системе координат, [9, 9] в третьей системе координат, и так далее, до [23, 23] в предпоследней системе координат.

Детектор транспортного средства ACF (требует Automated Driving Toolbox),

Обнаружьте и пометьте транспортные средства с помощью совокупных функций канала (ACF). Этот алгоритм на основе vehicleDetectorACF (Automated Driving Toolbox) функция. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну прямоугольную метку ROI. Вам не нужно рисовать какие-либо метки ROI.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Предварительно обученная модель детектора транспортного средства, которую алгоритм использует — 'full-view' модель была обучена с помощью незакрытых изображений передней стороны, задней части, покинутой, и правые стороны транспортных средств. 'front-rear-view' модель была обучена с помощью изображений только передних сторон и тыльных сторон транспортного средства.
Порог коэффициента перекрытия, от 0 до 1, для обнаружения транспортных средств - когда прямоугольник ROI перекрывается больше, чем этот порог, алгоритм отбрасывает один из ROI.
Порог классификационной оценки для обнаружения транспортных средств — Увеличение счет, чтобы увеличить доверие предсказания алгоритма. Прямоугольники с баллами ниже этого порога отбрасываются.

Можно также сконфигурировать детектор с калиброванной монокулярной камерой путем импорта monoCamera Объект (Automated Driving Toolbox) в рабочее пространство MATLAB. Укажите диапазоны длины и ширины транспортного средства в мировых единицах измерения, таких как метры.

Детектор контура маршрута (требует Automated Driving Toolbox),

Обнаружьте и пометьте контуры маршрута с помощью проецируемого изображения предполагаемого вида с высоты птичьего полета. Чтобы использовать этот алгоритм, необходимо задать по крайней мере одну метку ROI линии. Вам не нужно рисовать какие-либо метки ROI. Чтобы обнаружить контуры маршрута, алгоритм выполняет эти шаги:

Это высказывает исходное предположение при размещении контуров маршрута в изображении.
Это преобразовывает ROI вокруг маршрутов в изображение вида с высоты птичьего полета, чтобы заставить маршруты быть параллельными и удалить искажение.
Это использует это изображение, чтобы сегментировать контуры маршрута.

Чтобы помочь улучшить результаты алгоритма, сначала нажмите Settings. Можно изменить любую из этих настроек.

Размещение линий маршрута для генерации изображения вида с высоты птичьего полета
ROI вокруг маршрутов, которые можно расширить, чтобы включать больше, чем только контуры маршрута эго в изображении
Пиксельная ширина обнаруженных контуров маршрута в изображении

Можно также изменить количество контуров маршрута, которые вы хотите обнаружить. Количеством по умолчанию контуров маршрута является 2.

Смотрите также

Приложения

Image Labeler | Ground Truth Labeler (Automated Driving Toolbox) | Lidar Labeler (Lidar Toolbox)

Документация

Video Labeler

Описание

Откройте приложение Video Labeler

Примеры

Связанные примеры

Программируемое использование

`videoLabeler`

`videoLabeler(videoFileName)`

`videoLabeler(imageSeqFolder)`

`videoLabeler(imageSeqFolder,timestamps)`

`videoLabeler(gtSource)`

`videoLabeler(sessionFile)`

`videoLabeler(gTruth)`

Ограничения

Больше о

Метки ROI, подметки и атрибуты

Советы

Алгоритмы

Детектор людей ACF

Укажите средство отслеживания

Временный интерполятор

Детектор транспортного средства ACF (требует Automated Driving Toolbox),

Детектор контура маршрута (требует Automated Driving Toolbox),

Смотрите также

Приложения

Функции

Объекты

Темы

Документация Computer Vision Toolbox

Поддержка