Введение

Детектор маркера маршрута является основным компонентом восприятия автоматизированного ведущего приложения. Детектор анализирует изображения дорог, полученных с помощью монокулярного датчика камеры, и возвращает информацию об искривлении и типе маркировки каждого маршрута. Можно спроектировать и симулировать детектор маркера маршрута с помощью MATLAB® или Simulink® и затем, оценить его точность с помощью известной основной истины. Можно конфигурировать моделирование, чтобы использовать сценарии тестирования, которые основаны на системных требованиях. Можно интегрировать детектор к внешней программной среде и развернуться к транспортному средству посредством генерации Кода С++. Генерация кода и верификация модели Simulink гарантируют функциональную эквивалентность между симуляцией и реализацией в реальном времени. Автоматически выполнение этих симуляций позволяет регрессионному тестированию проверить функциональность уровня системы.

Для получения информации о том, как спроектировать детектор маркера маршрута и сгенерировать модель для генерации Кода С++, видит, что Детектор Маркера Маршрута Проекта Использует Нереальную Среду симуляции Engine, и Генерирует Код для Детектора Маркера Маршрута, соответственно. В этом примере показано, как автоматизировать тестирование детектора маркера маршрута и моделей генерации кода против нескольких сценариев с помощью Simulink Test™. Сценарии основаны на требованиях уровня системы. Остальная часть примера объясняет шаги, вовлеченные в автоматизированное тестирование модели детектора маркера маршрута.

В этом примере вы включаете симуляцию уровня системы посредством интеграции с Нереальным Engine от Epic Games®. 3D среда симуляции требует Windows® 64-битная платформа.

if ~ispc
    error("The 3D simulation environment requires a Windows 64-bit platform");
end

Чтобы гарантировать воспроизводимость результатов симуляции, установите случайный seed.

rng(0);

Рассмотрите требования

Этот пример содержит шесть сценариев тестирования для оценки модели. Чтобы задать высокоуровневые требования тестирования для каждого сценария, используйте Simulink Requirements™.

Чтобы исследовать тестовые требования и тестовую модель, откройте рабочую копию файлов проекта в качестве примера. MATLAB копирует файлы в папку в качестве примера так, чтобы можно было отредактировать их. Папка TestAutomation содержит файлы, который включает автоматизировать тестирование.

addpath(fullfile(matlabroot, 'toolbox', 'driving', 'drivingdemos'));
helperDrivingProjectSetup('LaneDetector.zip', 'workDir', pwd);

Откройте тестовый файл требований.

open('LaneMarkerDetectorTestRequirements.slreqx')

Можно также открыть файл с помощью вкладки Requirements менеджера по Требованиям приложение в Simulink.

Панель отображает информацию о сценариях тестирования и тестовых требованиях в текстовом и графическом формате. Чтобы протестировать обнаружение маршрута на сценариях только с автомобилем, оборудованным датчиком, используйте файлы сценария с префиксом scenario_LF_. Чтобы протестировать обнаружение маршрута на сценариях с другими транспортными средствами на дороге, используйте файлы сценария с префиксом scenario_LD_.

Эти сценарии тестирования имеют те же имена как сценарии, используемые в LaneMarkerDetectorTestBench модель.

Рассмотрите тестовую модель

Этот пример снова использует LaneMarkerDetectorTestBench модель из Сгенерировать Кода для примера Детектора Маркера Маршрута.

Откройте тестовую модель.

open_system("LaneMarkerDetectorTestBench");

Эта тестовая модель имеет Симуляцию 3D Сценарий, Детектор Маркера Маршрута и Метрические подсистемы Оценки.

Чтобы сконфигурировать тестовую модель, используйте helperSLLaneMarkerDetectorSetup скрипт. Задайте сценарий тестирования, как введено к скрипту настройки при помощи scenarioName входной параметр. Значение для scenarioName должно быть любое из имен сценария, заданных в тестовых требованиях.

Запустите скрипт настройки.

scenarioName = "scenario_LD_02_Curve_SixVehicles";
helperSLLaneMarkerDetectorSetup(scenarioName);

Можно теперь симулировать модель и визуализировать результаты. Для получения дополнительной информации о симуляции и анализе результатов симуляции, смотрите, что Детектор Маркера Маршрута Проекта Использует Нереальную Среду симуляции Engine, и Сгенерируйте Код для примера Детектора Маркера Маршрута.

Этот пример фокусируется на автоматизации запусков симуляции, чтобы протестировать детектор маркера маршрута на различных ведущих сценариях при помощи Simulink Test. Метрическая подсистема Оценки интегрирует метрические оценки уровня системы с Simulink Test при помощи блока Check Static Range (Simulink).

Откройте Метрическую подсистему Оценки.

open_system("LaneMarkerDetectorTestBench/Metrics Assessment");

Метрическая подсистема Оценки выходные параметры:

Модель регистрирует выходные результаты Метрической подсистемы Оценки к переменной logsout базового рабочего пространства. Можно проверить эффективность алгоритма детектора маркера маршрута путем проверки и графического вывода метрик, вычисленных отдельно для левого маршрута и правильного маршрута в процессе моделирования. Можно также проверить эффективность симуляции сообщения алгоритма детектора маркера маршрута с помощью метрик точности и чувствительности.

Отключите визуализацию во время выполнения

Отключите визуализацию во время выполнения для подсистемы Детектора Маркера Маршрута.

load_system('LaneMarkerDetector');
blk = 'LaneMarkerDetector/Lane Marker Detector';
set_param(blk,'EnableDisplays','off');

Конфигурируйте Моделирование 3D Блок Configuration Сцены, чтобы запустить Нереальный Engine в бездисплейном режиме, где 3D окно симуляции отключено.

blk = ['LaneMarkerDetectorTestBench/Simulation 3D Scenario/', ...
      'Simulation 3D Scene Configuration'];
set_param(blk,'EnableWindow','off');

Автоматизируйте тестирование

Откройте LaneMarkerDetectorTestAssessments.mldatx тестовый файл в менеджере по Тесту. Менеджер по Тесту сконфигурирован, чтобы автоматизировать тестирование алгоритма детектора маркера маршрута.

sltestmgr;
testFile = sltest.testmanager.load('LaneMarkerDetectorTestAssessments.mldatx');

Тесты в менеджере по Тесту соединяются с тестовыми требованиями в Редакторе Требований. Каждый тест использует POST-LOAD коллбэк, чтобы запустить скрипт настройки с соответствующими входными параметрами и сконфигурировать выходное имя видеофайла. После симуляции теста это вызывает helperGenerateReportForLaneMarkerDetector от CLEAN-UP коллбэк, чтобы сгенерировать графики для параметров контура маршрута и сгенерировать видео с наложенными обнаружениями маршрута. Это также вызывает CUSTOM CRITERIA построить обнаружение следует из Метрической подсистемы Оценки и проверять метрики точности и чувствительности с помощью helperVerifyPrecisionAndSensitivity функция. Для получения дополнительной информации об этих графиках, смотрите, Генерируют Код для примера Детектора Маркера Маршрута.

Запустите и исследуйте результаты для одного сценария тестирования:

Протестируйте системную модель на scenario_LD_02_Curve_SixVehicles сценарий.

testSuite = getTestSuiteByName(testFile,'Test Scenarios');
testCase = getTestCaseByName(testSuite,'scenario_LD_02_Curve_SixVehicles');
resultObj = run(testCase);

Сгенерируйте протоколы испытаний, полученные после симуляции.

sltest.testmanager.report(resultObj,'Report.pdf',...,
    'Title','Lane Marker Detector',...
    'IncludeMATLABFigures',true,...
    'IncludeErrorMessages',true,...
    'IncludeTestResults',0,'LaunchReport',true);

Исследуйте Report.pdf. Раздел Тестовой среды показывает платформу, на которой запущен тест, и версия MATLAB® используется для тестирования. Раздел Summary показывает результат теста и длительность симуляции в секундах. Раздел Results показывает передачу или результаты сбоя на основе критериев оценки и отображает графики, регистрируемые от helperGenerateReportForLaneMarkerDetector функция.

Запустите и исследуйте результаты для всех сценариев тестирования:

Можно симулировать систему, чтобы запустить все тесты при помощи sltest.testmanager.run команда. В качестве альтернативы можно нажать Play в менеджере по Тесту приложение.

После завершения тестовых симуляций результаты для всех тестов могут быть просмотрены во вкладке Results и Artifacts менеджера по Тесту. Для каждого теста Проверка Статическая Область значений (Simulink) блоки в модели сопоставлены с менеджером по Тесту. Можно визуализировать полную передачу или привести результаты к сбою.

Можно найти сгенерированный отчет в текущей рабочей директории. Этот отчет содержит подробные сводные данные передачи или состояний сбоя и графиков для каждого теста.

Проверьте тестовое состояние в Редакторе Требований:

Откройте Редактор Требований и выберите Display. Затем выберите Verification Status, чтобы видеть сводные данные состояния верификации для каждого требования. Зеленые и красные панели указывают на передачу и состояние сбоя результатов симуляции для каждого теста.

Автоматизируйте тестирование со сгенерированным кодом

LaneMarkerDetectorTestBench модель позволяет тестировать компонента Детектора Маркера Маршрута. Чтобы выполнить регрессионное тестирование этих компонентов используют программное обеспечение в цикле (SIL) верификация. Если у вас есть Embedded Coder™ лицензия Simulink Coder™, можно сгенерировать код для компонента детектора маркера маршрута. Можно проверить, приводит ли сгенерированный код к результатам, которые совпадают с тестовыми требованиями.

Установите режим симуляции для Детектора Маркера Маршрута к программному обеспечению в цикле.

model = 'LaneMarkerDetectorTestBench/Lane Marker Detector';
set_param(model,'SimulationMode','Software-in-the-loop');

Симулируйте систему для всех сценариев тестирования и сгенерируйте протокол испытаний при помощи команды MATLAB, запустите sltest.testmanager.run. Используйте сгенерированный отчет рассмотреть графики и результаты испытаний.

Если у вас есть лицензия Simulink Coverage™, можно заставить анализ покрытия кода для сгенерированного кода измерять полноту тестирования. Можно использовать данные о недостающем покрытии, чтобы найти разрывы в тестировании, недостающих требованиях или непредусмотренной функциональности. Можно визуализировать результаты покрытия для отдельных тестов и также агрегированные результаты покрытия также.

Можно нажать на LaneMarkerDetector соединитесь в менеджере по тесту, чтобы просмотреть подробный отчет результатов покрытия.

Автоматизируйте тестирование параллельно

Если у вас есть лицензия Parallel Computing Toolbox™, можно сконфигурировать менеджера по тесту, чтобы выполнить тесты в параллели с помощью параллельного пула. Чтобы запустить тесты параллельно, отключите визуализацию во время выполнения и сохраните модели с помощью save_system('LaneMarkerDetector') и save_system('LaneMarkerDetectorTestBench'). Протестируйте менеджера, использует кластер Parallel Computing Toolbox по умолчанию и выполняет тесты только на локальной машине. Запущение тестов в параллели ускоряет выполнение и уменьшает количество времени, требуемое для тестирования. Для получения дополнительной информации о том, как сконфигурировать тесты в параллели с помощью менеджера по Тесту, смотрите, что Тесты Запуска Используют Параллельное Выполнение (Simulink Test).