Приложения Image Labeler, Video Labeler и Ground Truth Labeler (Automated Driving Toolbox) позволяют назначать пиксельные метки вручную. Каждый пиксель может иметь максимум одну метку пикселя. Метки используются для создания основных истинных данных для обучения алгоритмам семантической сегментации.
Начните с загрузки изображения, видео или последовательности изображений в приложение для маркировки и определения пиксельных меток окупаемости инвестиций. Для получения дополнительной информации см.:
Image Labeler - начало работы с Image Labeler
Видеомаркировщик - начните с видеомаркировщика
Ground Truth Labeler - Начните с Ground Truth Labeler (Автоматизированная панель инструментов вождения)
В этом примере показана маркировка пикселов с помощью метки изображения. Эти же инструменты используются для маркировки видео и последовательностей изображений с помощью инструмента «Метчик видео» или «Метчик истины».
Выберите определение метки пикселя на панели «Метки окупаемости инвестиций». Откроется вкладка Пикселы метки (Label Pixels), содержащая инструменты для маркировки пикселов вручную с помощью полигонов, кистей или заливки заливкой. Инструменты маркировки можно использовать в любом порядке. Эта вкладка также содержит элементы управления для настройки отображения изображения путем масштабирования и панорамирования, а также для регулировки непрозрачности меток.
В этом примере используются две общие стратегии для маркировки пикселов на изображении магистрали:
Сначала используйте полуавтоматические инструменты, такие как заливка заливкой, суперпиксель и смарт-полигон. Затем уточните метки с помощью инструментов, которые обеспечивают более непосредственное управление, таких как «Полигон», «Вспомогательный свободный» и «Кисть».
Первая метка удаленных объектов с грубой оценкой границ объектов. Затем пометьте более близкие объекты более точными границами объектов.
Инструмент «Заливка заливкой» помечает группу связанных пикселов с аналогичным цветом. На этом изображении небо является хорошим кандидатом на заливку, потому что граница светлого неба ясна против темной растительности и путепровода. Напротив, заливка не может изолировать растительность, поскольку цвет растительности слишком похож на прилегающие барьеры, дороги и транспортные средства.
Чтобы пометить пикселы с помощью параметра «Заливка», выполните следующие действия.
Выберите инструмент и метку. Указатель заменяется краской.
Щелкните начальный пиксель на изображении.
Можно отменить заливку заливкой или любую другую операцию маркировки, нажав клавиши Ctrl + Z.
Инструмент «Суперпиксель» помечает участки сеток с регулируемым размером пикселов. Она позволяет быстро определять объекты в сцене. Инструмент «Суперпиксель» появляется на панели инструментов после создания определения метки пикселя.
Чтобы пометить пикселы с помощью суперпикселя:
Выберите инструмент «Суперпиксель» на панели инструментов. Приложение создает макет сетки суперпикселя поверх изображения. Разрешение сетки можно изменить с помощью ползунка «Количество сеток».
Выберите предопределенное определение метки пикселя, а затем щелкните левой кнопкой мыши сетку, чтобы выбрать ее. Цвет сетки изменяется в соответствии с цветом выбранной метки пикселя. Можно выбрать несколько сеток, щелкнув их левой кнопкой мыши или удерживая левую кнопку мыши и перемещая указатель непрерывно. Используйте инструменты уточнения для изменения выбранных объектов в любое время во время создания меток.
Измените значение параметра «Количество сеток» во время создания метки, как это необходимо для наилучшего захвата области. Например, чтобы пометить большие площади, уменьшите количество сеток. Для более точного захвата кромок области увеличьте количество сеток.
Инструмент «Умный полигон» оценивает форму интересующего объекта в пределах нарисованного многоугольника. Инструмент полезен, если форма объекта не является простым многоугольником. В этом примере для маркировки растительности, имеющей сложную границу с небом, используется смарт-полигон.
Чтобы пометить пикселы с помощью смарт-полигона:
Выберите инструмент и метку. Указатель изменяется на перекрестие.
Щелкните, чтобы добавить вершины многоугольника. Полностью окружить интересующий объект, с некоторым пространством между объектом и многоугольником.
Замкните многоугольник, щелкнув первую вершину после размещения других вершин. Можно также дважды щелкнуть, чтобы добавить последнюю вершину и закрыть многоугольник за один шаг.
После закрытия полигона инструмент рисует начальную метку.
Отрегулируйте форму и положение многоугольника. Когда интересующий объект простирается до края изображения, перетащите вершины к краю изображения, чтобы убедиться, что смарт-многоугольник полностью окружает объект. Например, в этом примере показаны две крайние левые вершины, расположенные у левого края изображения.
Действия смарт-полигона
| Цель | Контроль |
|---|---|
| Переместить вершину | Щелкните и перетащите вершину. |
| Добавить вершину |
|
| Удалить вершину | Щелкните правой кнопкой мыши вершину и выберите «Удалить вершину». |
| Переместить многоугольник | Щелкните и перетащите любую точку на границе многоугольника (за исключением вершин). |
| Удалить полигон | Щелкните правой кнопкой мыши границу полигона и выберите «Удалить полигон». |
Для уточнения метки используйте инструменты редактора смарт-полигонов.
Выберите «Пометить передний план», чтобы отметить области внутри области, которую требуется пометить. Метки переднего плана отображаются зеленым цветом.
Выберите «Пометить фон», чтобы отметить области внутри области, которые не требуется маркировать. Метки фона отображаются красным цветом.
Выберите «Стереть метки», чтобы удалить метки переднего или заднего плана, которые больше не нужны.
Дополнительные рекомендации по использованию инструмента «Умный полигон» см. в разделе Советы.
Чтобы завершить создание метки, нажмите клавишу ВВОД или выберите новую метку на панели «Метки окупаемости инвестиций». Нельзя больше редактировать вершины многоугольников или отмечать области переднего и заднего плана.
Инструмент «Многоугольник» помечает все пикселы в пределах нарисованного многоугольника. Элементы управления для определения и корректировки вершин многоугольника аналогичны элементам управления инструмента «Умный многоугольник».
Добавьте дополнительные многоугольники поверх конструкций, таких как барьеры и дорога. Многие пиксели транспортного средства имеют неправильную маркировку. На следующем шаге показано, как заменить ошибочные метки правильной меткой.
Инструмент «Вспомогательный свободный доступ» позволяет рисовать окупаемость инвестиций, которая автоматически следует за краем объекта на базовом изображении. Можно также настроить размер и положение ROI с помощью мыши.
Каждый пиксель может иметь максимум одну метку пикселя. При применении метки к пикселю новая метка заменяет предыдущую метку.
В этом примере инструмент «Умный полигон» используется для маркировки пикселов, принадлежащих грузовику. Метки переднего плана присваивают метку транспортного средства субрегионам. Фоновые отметки возвращают субрегионы к их предыдущей маркировке. Например, в первой паре изображений фоновые метки возвращают субрегионы к небу и меткам растительности. Аналогично, во второй паре изображений фоновые метки возвращают субрегионы к дорожной метке.
Граница грузовика зазубрена, потому что Smart Polygon маркирует целые субрегионы, а не отдельные пикселы. На следующем шаге показано, как уточнить метки вдоль границы грузовика.
Инструмент «Кисть» помечает пикселы при рисовании изображения мышью. В этом примере кисть используется для удаления шпор с дороги и повышения гладкости кромок грузовика.
Чтобы пометить пикселы с помощью команды «Кисть»:
Выберите инструмент и метку. Указатель изменяется на перо, 
и появляется квадрат, указывающий размер кисти.
Настройте размер кисти с помощью ползунка «Размер кисти».
Щелкните и перетащите мышь, чтобы пометить пикселы.
Инструмент «Стереть» удаляет пиксельные метки при рисовании изображения мышью.
Для упрощения маркировки пикселов можно изменить вид изображения. Параметры «Увеличить», «Уменьшить» и «Панорамирование» позволяют масштабировать и панорамировать изображение с помощью мыши. Чтобы возобновить маркировку пикселов, щелкните значок «Метка».
Ползунок «Непрозрачность метки» регулирует непрозрачность всех меток пикселей.
Уменьшите непрозрачность для более четкого просмотра изображения. Например, уменьшите непрозрачность, чтобы легче было найти границу между днищем автомобиля и дорогой.
Увеличьте непрозрачность, чтобы более четко видеть сегментацию. Например, увеличить непрозрачность, чтобы увидеть, что край вдоль переднего бампера автомобиля должен быть сглажен. Также обратите внимание, что барьер и некоторые удаленные транспортные средства имеют немеченые пиксели.
Это последнее изображение с меткой пикселя.
Инструмент Smart Polygon идентифицирует интересующий объект с помощью региональной сегментации на основе графов («GrabCut») [1]. Инструмент «Смарт-полигон» разделяет изображение на субрегионы. Инструмент обрабатывает все субрегионы, полностью или частично находящиеся вне полигона, как принадлежащие фону. Поэтому для получения оптимальной сегментации убедитесь, что объект, подлежащий маркировке, полностью содержится в многоугольнике, окруженном несколькими фоновыми пикселями.
Все пикселы в пределах субрегиона имеют одинаковую метку. Маркировка пикселов вне полигона не влияет на метку.
Для удаления последней отмеченной окупаемости инвестиций нажмите клавиши Ctrl + Z. Чтобы удалить все пикселы фрейма, нажмите клавиши CTRL + SHIFT + DELETE.
Чтобы вырезать или скопировать все пикселы фрейма, нажмите клавиши Ctrl + Shift + X или Ctrl + Shift + C. Чтобы вставить вырезанные или скопированные пикселы, нажмите клавиши Ctrl + Shift + V.
Каждый пиксель может иметь максимум одну метку пикселя. При применении метки к пикселю новая метка заменяет предыдущую метку.
Маркировка пикселов отключается при панорамировании и увеличении изображения. Чтобы возобновить маркировку пикселов, нажмите кнопку «Метка».
Чтобы убедиться, что все пикселы в изображении помечены, начните с маркировки всего изображения одной меткой. Выберите метку, представляющую преобладающую окупаемость инвестиций в изображении, например небо, дорогу или фон. Затем используйте инструменты маркировки для повторной маркировки объектов с их правильной меткой.
Чтобы заполнить все или все оставшиеся пикселы, выберите метку окупаемости инвестиций из списка и нажмите клавиши Shift + Click (можно использовать левую или правую кнопку мыши).
[1] Ротер, К., В. Колмогоров и А. Блейк. «Захват выреза - интерактивное извлечение переднего плана с использованием итерируемых вырезов графика». Транзакции ACM на графике (SIGGRAPH). Том 23, номер 3, 2004, стр. 309-314.
Маркировщик изображений | Этикетировщик видео | Маркировщик истины (Автоматизированная панель инструментов вождения)