Маркируйте пиксели для семантической сегментации
Приложения Image Labeler, Video Labeler и Ground Truth Labeler (Automated Driving Toolbox) позволяют вам назначать пиксельные метки вручную. Каждый пиксель может иметь самое большее одну пиксельную метку. Метки используются для создания достоверных данных для настройки семантических алгоритмов сегментации.
Запуск маркировки пикселей
Начните с загрузки изображения, видео или последовательности изображений в приложение для маркировки и определения пиксельных меток информация только для чтения. Для получения дополнительной информации смотрите:
Image Labeler - Запуск с Image Labeler
Video Labeler - Запуск с Video Labeler
Ground Truth Labeler - Запуск с Ground Truth Labeler (Automated Driving Toolbox)
Этот пример показывает маркировку пикселей с помощью Image Labeler. Вы используете те же инструменты, чтобы пометить видео и последовательности изображений Video Labeler или Ground Truth Labeler.
Выберите определение метки пикселя на панели ROI Labels. Откроется вкладка Label Pixels, содержащая инструменты для маркировки пикселей вручную с помощью многоугольников, кистей или заливки. Инструменты маркировки можно использовать в любом порядке. Эта вкладка также имеет элементы управления, чтобы настроить отображение изображения путем масштабирования и панорамирования и настроить непрозрачность меток.
Этот пример использует две общие стратегии для маркировки пикселей в изображении шоссе:
Сначала используйте полуавтоматические инструменты, такие как Flood Fill, Superpixel и Smart Polygon. Затем уточните метки с помощью инструментов, которые предлагают более непосредственное управление, таких как Polygon, Assisted Freehand и Brush.
Сначала пометьте удаленные объекты с грубой оценкой границ объектов. Затем пометьте более близкие объекты более точными границами объектов.
Маркируйте пиксели с помощью инструмента заливки
Инструмент Flood Fill помечает группу связанных пикселей, которые имеют похожий цвет. На этом изображении небо является хорошим кандидатом для заливки, потому что контур яркого неба четко видна на фоне темной растительности и эстакады. Напротив, заливка не может изолировать растительность, потому что цвет растительности слишком похож на соседние барьеры, дороги и транспортные средства.
Чтобы пометить пиксели с помощью Flood Fill:
Выберите инструмент и метку. Указатель изменяется на банку с краской.
Щелкните начальный пиксель на изображении.
Можно отменить заливку или любую другую операцию маркировки, нажав клавиши Ctrl + Z.
Маркируйте пиксели с помощью Superpixel Tool
Инструмент Superpixel помечает разделы сетки пикселей регулируемых размеров. Это позволяет быстро задать объекты в сцене. Инструмент Superpixel появляется на панели инструментов после создания определения метки пикселя.
Чтобы пометить пиксели с помощью Superpixel:
Выберите инструмент Superpixel на панели инструментов. Приложение создает супер пиксельную сетку, размещение поверх изображения. Изменить разрешение сетки можно с помощью ползунка Grid Count.
Выберите предопределенное определение метки пикселя и нажмите левую кнопку мыши на сетке, чтобы выбрать ее. Цвет сетки изменяется так, чтобы он совпадал с цветом выбранной пиксельной метки. Можно выбрать несколько сеток, щелкнув на каждой сетке влево или удерживая нажатой левую кнопку мыши и непрерывно перемещая указатель мыши. Используйте инструменты уточнения, чтобы изменить выбор в любое время во время маркировки.
Измените Grid Count во время маркировки по мере необходимости, чтобы лучше всего захватить область. Для примера, чтобы пометить большие площади, уменьшите количество сетки. Чтобы более точно захватить ребра области, увеличьте количество сеток.
Маркируйте пиксели с помощью инструмента Smart Polygon
Инструмент Smart Polygon оценивает форму интересующего объекта в нарисованном вами полигоне. Инструмент полезен, когда форма объекта не является простым многоугольником. Этот пример использует Smart Polygon для маркировки растительности, которая имеет сложный контур с небом.
Чтобы пометить пиксели с помощью Smart Polygon:
Выберите инструмент и метку. Указатель изменяется на перекрестие.
Щелкните, чтобы добавить многоугольники. Полностью окружает объект интереса, с некоторым пространством между объектом и многоугольником.
Закройте многоугольник, щелкнув первую вершину после размещения других вершин. Также можно дважды кликнуть, чтобы добавить последнюю вершину и закрыть многоугольник за один шаг.
После закрытия многоугольника инструмент рисует начальную метку.
Настройте форму и положение многоугольника. Когда объект интереса простирается до ребра изображения, перетащите вершины к ребру изображения, чтобы убедиться, что интеллектуальный многоугольник полностью окружает объект. Например, в этом примере показаны две крайние левые вершины, расположенные на левом крае изображения.
Действия интеллектуального многоугольника
Цель Контроль Переместить вершину Щелкните и перетащите вершину. Добавить вершину Щелкните правой кнопкой мыши контур многоугольника в положении новой вершины и выберите Add Point.
Дважды кликните точку на контуре.
Удалить вершину Щелкните правой кнопкой мыши вершину и выберите Delete Vertex. Перемещение многоугольника Щелкните и перетащите любую точку на контуре многоугольника (исключая вершины). Удалить многоугольник Щелкните правой кнопкой мыши контур многоугольника и выберите Delete Polygon. Для уточнения метки используйте инструменты Smart Polygon Editor.
Выберите Mark Foreground, чтобы пометить области внутри области, которую вы хотите пометить. Метки переднего плана отображаются зеленым цветом.
Выберите Mark Background, чтобы пометить области внутри области, которую вы не хотите пометить. Фоновые метки отображаются красным цветом.
Выберите Erase Marks, чтобы удалить метки переднего плана или фона, которые больше не нужны.
Дополнительные предложения по использованию инструмента Советов см. в Smart Polygon.
Чтобы завершить работу с меткой, нажмите клавишу Enter или выберите новую метку на панели ROI Labels. Вы больше не можете редактировать многоугольники или отмечать области переднего и заднего плана.
Маркируйте пиксели с помощью многоугольника
Инструмент Polygon помечает все пиксели в нарисованном многоугольнике. Элементы управления для определения и корректировки вершин многоугольника аналогичны элементам управления инструмента Smart Polygon.
Добавить дополнительные многоугольники над структурами, такими как барьеры и дорога. Многие пиксели транспортного средства неправильно маркированы. Следующий шаг показывает, как заменить ошибочные метки правильной меткой.
Маркируйте пиксели с помощью вспомогательного инструмента Freehand
Инструмент Assisted Freehand позволяет вам нарисовать информация только для чтения, который автоматически следует за ребром субъекта в базовом изображении. Можно также настроить размер и положение информация только для чтения при помощи мыши.
Замена меток пикселей
Каждый пиксель может иметь самое большее одну пиксельную метку. При применении метки к пикселю новая метка заменяет предыдущую.
Этот пример использует инструмент Smart Polygon для маркировки пикселей, принадлежащих грузовику. Метки переднего плана присваивают метку транспортного средства субрегионам. Фоновые метки возвращают субрегионы к своим предыдущим меткам. Например, на первой паре изображений фоновые метки возвращают субрегионы к меткам неба и растительности. Точно так же во второй паре изображений фоновые метки возвращают субрегионы к дорожной метке.
Граница грузовика заземляется, потому что Smart Polygon помечает целые субрегионы, а не отдельные пиксели. Следующий шаг показывает, как уточнить метки вдоль границы грузовика.
Уточнить метки используя инструмент кисти
Инструмент Brush помечает пиксели, когда вы рисуете изображение мышью. Этот пример использует Brush, чтобы удалить шпоры с дороги и сделать ребра грузовика более гладкими.
Чтобы пометить пиксели с помощью Brush:
Выберите инструмент и метку. Указатель изменяется на перо,
и появляется квадрат, указывающий на размер кисти.Отрегулируйте размер кисти при помощи Brush Size ползунка.
Щелкните мышью и перетащите мышь, чтобы пометить пиксели.
Инструмент Erase удаляет пиксельные метки, когда вы рисуете изображение мышью.
Визуализация меток пикселей
Можно изменить вид изображения, чтобы облегчить маркировку пикселей. Опции Zoom In, Zoom Out и Pan позволяют вам масштабировать и панорамировать изображение с помощью мыши. Чтобы возобновить маркировку пикселей, щелкните значок Label.
Ползунок Label Opacity настраивает непрозрачность всех пиксельных меток.
Уменьшите непрозрачность, чтобы увидеть изображение более четко. Например, уменьшите непрозрачность, чтобы легче было найти границу между дном автомобиля и дорогой.
Увеличьте непрозрачность, чтобы увидеть сегментацию более четко. Например, увеличьте непрозрачность, чтобы увидеть, что ребро вдоль переднего бампера автомобиля должен быть сглажен. Кроме того, обратите внимание, что барьер и некоторые дальние транспортные средства имеют немаркированные пиксели.
Это окончательное пиксельное изображение.
Совет
Инструмент Smart Polygon идентифицирует объект интереса с помощью региональной основанной на графе сегментации («GrabCut») [1]. Инструмент Smart Polygon делит изображение на субрегионы. Инструмент рассматривает все субрегионы, которые полностью или частично находятся вне многоугольника, как принадлежащие фону. Поэтому, чтобы получить оптимальную сегментацию, убедитесь, что объект, который будет помечен, полностью содержится в многоугольнике, окруженном несколькими пикселями фона.
Все пиксели в субрегионе имеют одинаковую метку. Маркировка пикселей вне многоугольника не влияет на метку.
Чтобы удалить последний маркированный информация только для чтения, нажмите Ctrl+Z. Чтобы удалить все пиксели в системе координат, нажмите Ctrl+Shift+Delete.
Чтобы вырезать или скопировать все пиксели в системе координат, нажмите Ctrl+Shift+X или Ctrl+Shift+C. Чтобы вставить вырезанные или скопированные пиксели, нажмите Ctrl+Shift+V.
Каждый пиксель может иметь самое большее одну пиксельную метку. При применении метки к пикселю новая метка заменяет предыдущую.
Маркировка пикселей отключена при панорамировании и масштабировании изображения. Чтобы возобновить маркировку пикселей, необходимо нажать кнопку Label.
Чтобы гарантировать маркировку всех пикселей в изображении, начните с маркировки всего изображения одной меткой. Выберите метку, которая представляет преобладающий информация только для чтения в изображении, таком как небо, дорога или фон. Затем используйте инструменты маркировки, чтобы повторно маркировать объекты правильной меткой.
Чтобы заполнить все или все оставшиеся пиксели, выберите метку информация только для чтения из своего списка и нажмите Shift+Click (можно использовать левый - или щелчок правой кнопкой мыши).
Ссылки
[1] Rother, C., В. Колмогоров и А. Блейк. «GrabCut - интерактивное извлечение переднего плана с использованием итерационных Графиков вырезов». Транзакции ACM на графике (SIGGRAPH). Том 23, № 3, 2004, стр. 309-314.
См. также
Image Labeler | Video Labeler | Ground Truth Labeler (Automated Driving Toolbox)