Маркируйте Pixels for Semantic Segmentation

Image Labeler, Video Labeler и Ground Truth Labeler (требует Automated Driving Toolbox™) приложения позволяют вам присвоить пиксельные метки вручную. Каждый пиксель может иметь самое большее метку на один пиксель. Метки используются, чтобы создать наземные данные об истине для учебных семантических алгоритмов сегментации.

Запустите пиксельную маркировку

Начните путем загрузки изображения, видео или последовательности изображений в приложение маркировки и определение пиксельных меток ROI. Для получения дополнительной информации см.:

Image Labeler — Запуск с Image Labeler
Video Labeler — Запуск с Video Labeler
Ground Truth Labeler — Запуск с Ground Truth Labeler (Automated Driving Toolbox)

Этот пример показывает пиксельную маркировку Image Labeler. Вы используете те же инструменты, чтобы маркировать видео и последовательности изображений с Video Labeler или Ground Truth Labeler.

Выберите пиксельное определение метки из панели ROI Label Definition. Вкладка Label Pixels открывается, содержа инструменты, чтобы маркировать пиксели вручную с помощью полигонов, кистей или заливки. Можно использовать инструменты маркировки в любом порядке. Эта вкладка также имеет средства управления, чтобы настроить отображение изображения путем изменения масштаба и панорамирования и настроить непрозрачность меток.

Этот пример использует две общих стратегии маркировать пиксели в магистральном изображении:

Сначала используйте полуавтоматические инструменты, такие как Flood Fill и Smart Polygon. Затем совершенствуйте инструменты использования меток, которые предлагают более прямое управление, такое как Polygon, Assisted Freehand и Brush.
Сначала маркируйте удаленные объекты грубой оценкой границ объекта. Затем маркируйте более близкие объекты более точными границами объекта.

Маркируйте Pixels Using Flood Fill Tool

Инструмент Flood Fill маркирует группу связанных пикселей, которые имеют схожий цвет. В этом изображении небо является хорошим кандидатом на заливку, потому что контур яркого неба ясен против темной растительности и перехода. Напротив, заливка не может изолировать растительность, потому что цвет растительности слишком подобен смежным барьерам, дорогам и автомобилям.

Маркировать пиксели с помощью Flood Fill:

Выберите инструмент и метку. Изменения указателя в краске могут.
Кликните по стартовому пикселю в изображении.

Можно отменить заливку или любую другую операцию маркировки, путем нажатия Ctrl+Z.

Маркируйте Pixels Using Smart Polygon Tool

Инструмент Smart Polygon оценивает форму предмета интереса в полигоне, который вы чертите. Инструмент полезен, когда форма объекта не является простым полигоном. Этот пример использует Smart Polygon, чтобы маркировать растительность, которая имеет сложный контур с небом.

Маркировать пиксели с помощью Smart Polygon:

Выберите инструмент и метку. Указатель изменяется на перекрестие.
Щелкните, чтобы добавить вершины полигона. Полностью окружите предмет интереса с некоторым пробелом между объектом и полигоном.
Закройте полигон путем нажатия на первую вершину после размещения других вершин. Также можно дважды кликнуть, чтобы добавить последнюю вершину и закрыть полигон за один шаг.
После того, как вы закроете полигон, инструмент чертит начальную метку.

Настройте форму и положение полигона. Когда предмет интереса расширяет к ребру изображения, перетащите вершины к ребру изображения, чтобы гарантировать, что умный полигон полностью заключает объект. Например, этот пример показывает две крайних левых вершины, помещенные в левый край изображения.

Умные действия полигона

Цель	Управление
Переместите вершину	Перетащите вершину.
Добавьте вершину	Щелкните правой кнопкой по контуру полигона по положению новой вершины и выберите Add Point. Дважды кликните точку на контуре.
Удалите вершину	Щелкните правой кнопкой по вершине и выберите Delete Vertex.
Переместите полигон	Перетащите любую точку на контуре полигона (исключая вершины).
Удалите полигон	Щелкните правой кнопкой по контуру полигона и выберите Delete Polygon.

Используйте инструменты Smart Polygon Editor, чтобы совершенствовать метку.
- Выберите Mark Foreground, чтобы отметить области в области, которую вы хотите маркировать. Приоритетные метки появляются в зеленом.
- Выберите Mark Background, чтобы отметить области в области, которую вы не хотите маркировать. Фоновые метки появляются в красном.
- Выберите Erase Marks, чтобы удалить передний план или фоновые метки, которые больше не необходимы.
- Смотрите Советы для дополнительных предложений при использовании инструмента Smart Polygon.
Чтобы завершить метку, нажмите Enter или выберите новый ROI Label Definition. Вы больше не можете редактировать вершины полигона или отмечать передний план и фоновые области памяти.

Маркируйте Pixels Using Polygon Tool

Инструмент Polygon маркирует все пиксели в полигоне, который вы чертите. Средства управления для определения и корректировки вершин полигона подобны средствам управления инструмента Smart Polygon.

Добавьте дополнительные полигоны по структурам, таким как барьеры и дорога. Много пикселей автомобиля неправильно маркированы. Следующий шаг показывает, как заменить ошибочные метки на правильную метку.

Маркируйте Pixels Using Assisted Freehand Tool

Инструмент Assisted Freehand позволяет вам чертить ROI, который автоматически следует за ребром предмета в основном изображении. Можно также настроить размер и положение ROI при помощи мыши.

Замените пиксельные метки

Каждый пиксель может иметь самое большее метку на один пиксель. Когда вы применяете метку к пикселю, новая метка заменяет предыдущую метку.

Этот пример использует инструмент Smart Polygon, чтобы маркировать пиксели, принадлежащие грузовику. Приоритетные метки присваивают метку автомобиля подобластям. Фоновые метки возвращаются подобласти к своей предшествующей метке. Например, в первой паре изображений, фоновые метки возвращаются подобласти к меткам растительности и небу. Точно так же во второй паре изображений, фоновые метки возвращаются подобласти к дорожной метке.

Граница грузовика является зубчатой, потому что Smart Polygon маркирует целые подобласти, не отдельные пиксели. Следующий шаг показывает, как совершенствовать метки вдоль границы грузовика.

Совершенствуйте метки Используя кисть

Инструмент Brush маркирует пиксели, когда вы дистиллируете изображение с мышью. Этот пример использует Brush, чтобы удалить шпоры из дороги и сделать ребра грузовика более сглаженными.

Маркировать пиксели с помощью Brush:

Выберите инструмент и метку. Изменения указателя в пере и квадрат, кажется, указывают на размер кисти.
Настройте размер кисти при помощи ползунка Brush Size.
Перетащите мышь, чтобы маркировать пиксели.

Инструмент Erase удаляет пиксельные метки, когда вы дистиллируете изображение с мышью.

Визуализируйте пиксельные метки

Можно изменить представление изображения, чтобы упростить пиксельную маркировку. Zoom In, Zoom Out и опции Pan позволяют вам масштабировать и панорамировать изображение с мышью. Чтобы возобновить пиксельную маркировку, кликните по значку Label.

Ползунок Label Opacity настраивает непрозрачность всех пиксельных меток.

Уменьшите непрозрачность, чтобы видеть изображение более ясно. Например, уменьшите непрозрачность, чтобы облегчить находить границу между нижней частью автомобиля и дорогой.
Увеличьте непрозрачность, чтобы видеть сегментацию более ясно. Например, увеличьте непрозрачность, чтобы видеть, что ребро вдоль переднего бампера автомобиля должно сглаживаться. Кроме того, заметьте, что барьер и некоторые удаленные автомобили не маркировали пиксели.

Это - финал маркированное пикселем изображение.

Советы

Инструмент Smart Polygon идентифицирует предмет интереса при помощи региональной основанной на графике сегментации ("GrabCut") [1]. Инструмент Smart Polygon делит изображение на подобласти. Инструмент обрабатывает все подобласти, которые являются полностью или частично вне полигона как принадлежащий фону. Поэтому, чтобы получить оптимальную сегментацию, убедитесь, что объект, который будет маркирован, полностью содержится в полигоне, окруженном несколькими фоновыми пикселями.
Все пиксели в подобласти имеют ту же метку. Отмечание пикселей вне полигона не имеет никакого эффекта на метку.
Удалить последний раз маркировало ROI, нажмите Ctrl+Z.
Каждый пиксель может иметь самое большее метку на один пиксель. Когда вы применяете метку к пикселю, новая метка заменяет предыдущую метку.
Пиксельная маркировка отключена, когда вы панорамируете и масштабируете изображение. Необходимо нажать кнопку Label, чтобы возобновить пиксельную маркировку.
Чтобы гарантировать, что все пиксели в изображении маркированы, начните путем маркировки целого изображения одной меткой. Выберите метку, которая представляет преобладающий ROI в изображении, таком как небо, дорога или фон. Затем используйте инструменты маркировки, чтобы повторно маркировать объекты их правильной меткой.

Ссылки

[1] Rother, C., В. Кольмогоров и А. Блэйк. "GrabCut - Интерактивная Приоритетная Экстракция с помощью Выполненных с помощью итераций Сокращений Графика". Транзакции ACM на Графике (SIGGRAPH). Издание 23, Номер 3, 2004, стр 309–314.

Документация