Маркировка Пикселей для Семантической Сегментации

Image Labeler, Video Labeler и Ground Truth Labeler (требует Automated Driving Toolbox™) приложения позволяют вам присвоить пиксельные метки вручную. Каждый пиксель может иметь самое большее метку на один пиксель. Метки используются, чтобы создать достоверные данные для учебных алгоритмов семантической сегментации.

Запустите пиксельную маркировку

Начните путем загрузки изображения, видео или последовательности изображений в приложение для маркировки и определения пиксельных меток ROI. Для получения дополнительной информации см.:

Image Labeler — Запуск с Image Labeler
Video Labeler — Запуск с Video Labeler
Ground Truth Labeler — Запуск с Ground Truth Labeler (Automated Driving Toolbox)

Этот пример показывает пиксельную маркировку Image Labeler. Вы используете те же инструменты, чтобы пометить видео и последовательности изображений с Video Labeler или Ground Truth Labeler.

Выберите пиксельное определение метки из панели ROI Label Definition. Вкладка Label Pixels открывается, содержа инструменты, чтобы пометить пиксели вручную с помощью многоугольников, кистей или заливки. Можно использовать инструменты маркировки в любом порядке. Эта вкладка также имеет средства управления, чтобы настроить отображение изображения путем изменения масштаба и панорамирования и настроить непрозрачность меток.

Этот пример использует две общих стратегии пометить пиксели в магистральном изображении:

Сначала используйте полуавтоматические инструменты, такие как Flood Fill и Smart Polygon. Затем совершенствуйте инструменты использования меток, которые предлагают более прямое управление, такое как Polygon, Assisted Freehand и Brush.
Сначала пометьте удаленные объекты грубой оценкой границ объекта. Затем пометьте более близкие объекты более точными границами объекта.

Маркировка Пикселей с Использованием Инструмента Заливка

Инструмент Flood Fill потоком помечает группу связанных пикселей, имеющих одинаковый цвет. На этом изображении небо является хорошим кандидатом для заливки, потому что граница яркого неба четко видна на фоне темной растительности и эстакады. В отличие от этого заливка не может изолировать растительность, потому что цвет растительности слишком похож на соседние барьеры, дороги и транспортные средства.

Пометить пиксели с помощью Flood Fill:

Выберите инструмент и метку. Указатель превращается в банку с краской.
Кликните по стартовому пикселю в изображении.

Можно отменить заливку или любую другую операцию маркировки, путем нажатия Ctrl+Z.

Маркируйте Pixels Using Smart Polygon Tool

Инструмент Smart Polygon оценивает форму предмета интереса в многоугольнике, который вы чертите. Инструмент полезен, когда форма объекта не является простым многоугольником. Этот пример использует Smart Polygon, чтобы пометить растительность, которая имеет сложный контур с небом.

Пометить пиксели с помощью Smart Polygon:

Выберите инструмент и метку. Указатель превращается в перекрестие.
Щелкните, чтобы добавить вершины многоугольника. Полностью окружите предмет интереса с некоторым пробелом между объектом и многоугольником.
Закройте многоугольник путем нажатия на первую вершину после размещения других вершин. В качестве альтернативы можно дважды кликнуть, чтобы добавить последнюю вершину и закрыть многоугольник за один шаг.
После того, как вы закроете многоугольник, инструмент чертит начальную метку.

Отрегулируйте форму и положение многоугольника. Когда объект интереса простирается до края изображения, перетащите вершины к краю изображения, чтобы убедиться, что интеллектуальный полигон полностью окружает объект. Например, в этом примере показаны две крайние левые вершины, расположенные на левом краю изображения.

Умные действия многоугольника

Цель	Управление
Переместите вершину	Перетащите вершину.
Добавьте вершину	Щелкните правой кнопкой по контуру многоугольника по положению новой вершины и выберите Add Point. Дважды кликните точку на контуре.
Удалите вершину	Щелкните правой кнопкой по вершине и выберите Delete Vertex.
Переместите многоугольник	Перетащите любую точку на контуре многоугольника (исключая вершины).
Удалите многоугольник	Щелкните правой кнопкой по контуру многоугольника и выберите Delete Polygon.

Используйте инструменты Smart Polygon Editor, чтобы совершенствовать метку.
- Выберите Mark Foreground, чтобы отметить области в области, которую вы хотите пометить. Приоритетные метки появляются в зеленом.
- Выберите Mark Background, чтобы отметить области в области, которую вы не хотите помечать. Фоновые метки появляются в красном.
- Выберите Erase Marks, чтобы удалить передний план или фоновые метки, которые больше не необходимы.
- Смотрите Советы для дополнительных предложений при использовании инструмента Smart Polygon.
Чтобы завершить метку, нажмите Enter или выберите новый ROI Label Definition. Вы больше не можете редактировать вершины многоугольника или отмечать передний план и фоновые области памяти.

Маркировка Пикселей с Помощью Инструмента Полигон

Инструмент Polygon помечает все пиксели в многоугольнике, который вы чертите. Средства управления для определения и корректировки вершин многоугольника похожи на средства управления инструмента Smart Polygon.

Добавьте дополнительные многоугольники по структурам, таким как барьеры и дорога. Много пикселей транспортного средства неправильно помечены. Следующий шаг показывает, как заменить ошибочные метки на правильную метку.

Маркировка Пикселей с Помощью Вспомогательного Инструмента Freehand

Инструмент Assisted Freehand позволяет вам чертить ROI, который автоматически следует за ребром предмета в основном изображении. Можно также настроить размер и положение ROI при помощи мыши.

Замените пиксельные метки

Каждый пиксель может иметь самое большее метку на один пиксель. Когда вы применяете метку к пикселю, новая метка заменяет предыдущую метку.

Этот пример использует инструмент Smart Polygon, чтобы пометить пиксели, принадлежащие грузовику. Приоритетные метки присваивают метку транспортного средства подобластям. Фоновые метки возвращаются подобласти к своей предшествующей метке. Например, в первой паре изображений, фоновые метки возвращаются подобласти к меткам растительности и небу. Точно так же во второй паре изображений, фоновые метки возвращаются подобласти к дорожной метке.

Граница грузовика является зубчатой, потому что Smart Polygon помечает целые подобласти, не отдельные пиксели. Следующий шаг показывает, как совершенствовать метки вдоль границы грузовика.

Совершенствуйте метки Используя кисть

Инструмент Brush помечает пиксели, когда вы дистиллируете изображение с мышью. Этот пример использует Brush, чтобы удалить шпоры из дороги и сделать ребра грузовика более сглаженными.

Пометить пиксели с помощью Brush:

Выберите инструмент и метку. Изменения указателя в пере и квадрат, кажется, указывают на размер кисти.
Настройте размер кисти при помощи ползунка Brush Size.
Перетащите мышь, чтобы пометить пиксели.

Инструмент Erase удаляет пиксельные метки, когда вы дистиллируете изображение с мышью.

Визуализируйте пиксельные метки

Можно изменить представление изображения, чтобы упростить пиксельную маркировку. Zoom In, Zoom Out и опции Pan позволяют вам масштабировать и панорамировать изображение с мышью. Чтобы возобновить пиксельную маркировку, кликните по значку Label.

Ползунок Label Opacity настраивает непрозрачность всех пиксельных меток.

Уменьшите непрозрачность, чтобы видеть изображение более ясно. Например, уменьшите непрозрачность, чтобы облегчить находить границу между нижней частью автомобиля и дорогой.
Увеличьте непрозрачность, чтобы видеть сегментацию более ясно. Например, увеличьте непрозрачность, чтобы видеть, что ребро вдоль переднего бампера автомобиля должно сглаживаться. Кроме того, заметьте, что барьер и некоторые удаленные транспортные средства не пометили пиксели.

Это - финал помеченное пикселем изображение.

Советы

Инструмент Smart Polygon идентифицирует предмет интереса при помощи региональной основанной на графике сегментации ("GrabCut") [1]. Инструмент Smart Polygon делит изображение на подобласти. Инструмент обрабатывает все подобласти, которые являются полностью или частично вне многоугольника как принадлежащий фону. Поэтому, чтобы получить оптимальную сегментацию, убедитесь, что объект, который будет помечен, полностью содержится в многоугольнике, окруженном несколькими фоновыми пикселями.
Все пиксели в подобласти имеют ту же метку. Отмечание пикселей вне многоугольника не оказывает влияния на метку.
Удалить последний раз пометило ROI, нажмите Ctrl+Z.
Каждый пиксель может иметь самое большее метку на один пиксель. Когда вы применяете метку к пикселю, новая метка заменяет предыдущую метку.
Пиксельная маркировка отключена, когда вы панорамируете и масштабируете изображение. Необходимо нажать кнопку Label, чтобы возобновить пиксельную маркировку.
Чтобы гарантировать, что все пиксели в изображении помечены, начните путем маркировки целого изображения одной меткой. Выберите метку, которая представляет преобладающий ROI в изображении, таком как небо, дорога или фон. Затем используйте инструменты маркировки, чтобы повторно пометить объекты их правильной меткой.
Чтобы заполнить все или все остающиеся пиксели, выберите метку ROI из своего списка и нажмите Shift+Click (можно использовать лево-или щелкнуть правой кнопкой).

Ссылки

[1] Rother, C., В. Кольмогоров и А. Блэйк. "GrabCut - Интерактивная Приоритетная Экстракция с помощью Выполненных с помощью итераций Сокращений Графика". Транзакции ACM на Графике (SIGGRAPH). Издание 23, Номер 3, 2004, стр 309–314.

Документация