exponenta event banner

evaluateDetectionAOS

Оценить среднюю метрику подобия ориентации для обнаружения объектов

Описание

пример

metrics = evaluateDetectionAOS(detectionResults,groundTruthData) вычисляет метрику среднего сходства ориентации (AOS). Метрика может использоваться для измерения результатов обнаружения detectionResults против данных об истинности земли groundTruthData. AOS является метрикой для измерения производительности детектора на детекторах повернутых прямоугольников.

metrics = evaluateDetectionAOS(detectionResults,groundTruthData,threshold) дополнительно задает порог перекрытия для назначения обнаружения ограничительной рамке истинности земли.

Примеры

свернуть все

Определите ограничивающие рамки истинности грунта для класса транспортных средств. Каждая строка определяет повернутую ограничительную рамку вида [xcenter, ycenter, width, height, yaw].

gtbbox = [
    2 2 10 20 45
    80 80 30 40 15
    ];

gtlabel = "vehicle";

Создайте таблицу для хранения данных истинности земли.

groundTruthData = table({gtbbox},'VariableNames',gtlabel)
groundTruthData=table
      vehicle   
    ____________

    {2x5 double}

Определите результаты обнаружения для повернутых ограничивающих прямоугольников, шкал и меток.

bbox = [
    4 4 10 20 20
    50 50 30 10 30
    90 90 40 50 10 ];

scores = [0.9 0.7 0.8]';

labels = [
    "vehicle"
    "vehicle"
    "vehicle"
    ];
labels = categorical(labels,"vehicle");

Создайте таблицу для хранения результатов обнаружения.

detectionResults = table({bbox},{scores},{labels},'VariableNames',{'Boxes','Scores','Labels'})
detectionResults=1×3 table
       Boxes           Scores            Labels      
    ____________    ____________    _________________

    {3x5 double}    {3x1 double}    {3x1 categorical}

Оцените результаты обнаружения по истинности грунта, рассчитав метрику AOS.

metrics = evaluateDetectionAOS(detectionResults,groundTruthData)
metrics=1×5 table
                AOS        AP       OrientationSimilarity     Precision         Recall   
               ______    _______    _____________________    ____________    ____________

    vehicle    0.5199    0.54545        {4x1 double}         {4x1 double}    {4x1 double}

Входные аргументы

свернуть все

Результаты обнаружения, указанные в виде таблицы из трех столбцов. Столбцы содержат ограничивающие рамки, оценки и метки. Ограничивающими прямоугольниками могут быть выровненные по оси прямоугольники или повернутые прямоугольники.

Ограничивающая рамкаФорматОписание
Выровненный по оси прямоугольник[xmin, ymin, ширина, высота]Этот тип ограничивающей рамки определяется в координатах пикселей как матрица M-by-4, представляющая M ограничивающих рамок
Повернутый прямоугольник[xcenter, ycenter, ширина, высота, рыскание]Этот тип ограничивающей рамки определяется в пространственных координатах как матрица M-by-5, представляющая M ограничивающих рамок. Координаты xcenter и ycenter представляют центр ограничивающей рамки. Элементы ширины и высоты представляют длину рамки вдоль осей x и y соответственно. Угол поворота в градусах. Величина поворота вокруг центра ограничивающей рамки измеряется в направлении по часовой стрелке.
   

Помеченные изображения истинности грунта, указанные как хранилище данных или таблица.

  • При использовании хранилища данных данные должны быть настроены таким образом, чтобы вызывать хранилище данных с помощью read и readall функция возвращает массив ячеек или таблицу с двумя или тремя столбцами. Если выходные данные содержат два столбца, первый столбец должен содержать ограничивающие рамки, а второй столбец должен содержать метки {поля, метки}. Если выходные данные содержат три столбца, второй столбец должен содержать ограничивающие рамки, а третий столбец должен содержать метки. В этом случае первый столбец может содержать данные любого типа. Например, первый столбец может содержать изображения или данные облака точек.

    данныекоробкиэтикетки
    Первый столбец может содержать данные, например данные облака точек или изображения.Второй столбец должен быть массивом ячеек, содержащим M-by-5 матрицы ограничивающих прямоугольников вида [xcenter, ycenter, width, height, yaw]. Векторы представляют расположение и размер ограничивающих рамок для объектов на каждом изображении.Третий столбец должен быть массивом ячеек, содержащим M-by-1 категориальных векторов, содержащих имена классов объектов. Все категориальные данные, возвращаемые хранилищем данных, должны содержать одинаковые категории.

    Дополнительные сведения см. в разделе Хранилища данных для глубокого обучения (панель инструментов глубокого обучения).

  • При использовании таблицы таблица должна иметь два или более столбцов.

    данныекоробки...
    Первый столбец может содержать данные, например данные облака точек или изображения.Каждый из оставшихся столбцов должен быть вектором ячейки, который содержит M-by-5 матрицы, представляющие повернутые прямоугольные ограничивающие рамки. Каждый повернутый прямоугольник должен иметь вид [xcenter, ycenter, width, height, yaw]. Векторы представляют расположение и размер ограничивающих рамок для объектов на каждом изображении. 

Порог перекрытия, заданный как неотрицательный скаляр. Коэффициент перекрытия определяется как пересечение по соединению.

Выходные аргументы

свернуть все

Метрики AOS, возвращенные в виде таблицы из пяти столбцов. Каждая строка в таблице содержит метрики оценки для класса, который определен в данных истинности основания, содержащихся в groundTruthData вход. Чтобы получить имена классов объектов:

metrics.Properties.RowNames
Эта таблица описывает пять столбцов в metrics таблица.

КолонкаОписание
AOSСреднее значение подобия ориентации
APСредняя точность по всем результатам обнаружения, возвращаемая в виде числового скаляра. Точность - это отношение истинных положительных экземпляров ко всем положительным экземплярам объектов в детекторе, основанное на истинности земли.
OrientationSimilarity

Значения подобия ориентации для каждого обнаружения, возвращаемые как числовой столбец M-элемента. M на единицу больше количества обнаружений, назначенных классу. Первое значение OrientationSimilarity является 1.

Ориентировочное подобие - нормализованный вариант косинусного подобия, который измеряет подобие между предсказанным углом поворота и углом поворота истинности земли.

Precision

Значения точности из каждого обнаружения, возвращаемые в виде вектора числового столбца M-элемента. M на единицу больше количества обнаружений, назначенных классу. Например, если результаты обнаружения содержат 4 обнаружения с меткой класса 'автомобиль', то Precision содержит 5 элементов. Первое значение Precision является 1.

Точность - это отношение истинных положительных экземпляров ко всем положительным экземплярам объектов в детекторе, основанное на истинности земли.

Recall

Восстановление значений из каждого обнаружения, возвращаемых в виде вектора числового столбца M-элемента. M на единицу больше количества обнаружений, назначенных классу. Например, если результаты обнаружения содержат 4 обнаружения с меткой класса 'автомобиль', то Recall содержит 5 элементов. Первое значение Recall является 0.

Напомним, что отношение истинных положительных инстанций к сумме истинных положительных и ложных негативов в детекторе, основанном на наземной истине.

Ссылки

[1] Гейгер, А., П. Ленц., и Р. Уртасун. "Готовы ли мы к автономному вождению? Набор тестов видения KITTI. " Конференция IEEE по компьютерному зрению и распознаванию образов. IEEE, 2012.

Представлен в R2020a