Панель мониторинга тестирования модели собирает метрические данные из проекта модели и проверки программных продуктов в проекте, чтобы помочь вам оценить статус и качество ваших основанных на требованиях проверок модели.
Инструментальная панель анализирует программные продукты в проекте, такие как требования, модели и результаты тестирования. Каждая метрика на панели мониторинга измеряет разный аспект качества проверки вашей модели и отражает рекомендации в признанных отраслями стандартах разработки программного обеспечения, таких как ISO 26262 и DO-178C.
В этом примере показано, как оценить статус проверки модели с помощью панели мониторинга тестирования модели. Если требования, модели или тесты в вашем проекте изменяются, используйте панель мониторинга, чтобы оценить влияние на проверку и обновить программные продукты, чтобы достичь ваших целей проверки.
Откройте проект, который содержит модели и программные продукты проверки. В данном примере в командной строке введите dashboardCCProjectStart.
Чтобы открыть Панель мониторинга тестирования модели, используйте один из следующих подходов:
На вкладке Project нажмите Model Testing Dashboard.
В командной строке введите modelTestingDashboard.
При первом открытии инструментальной панели для проекта инструментальная панель должна идентифицировать программные продукты в проекте и проследить их до моделей. Чтобы запустить анализ и собрать результаты метрики, щелкните Трассировка и Собрать все.
На инструментальной панели отображаются результаты измерения для модели, выбранной на панели « Программных продуктах». Чтобы собрать метрические данные для модели, щелкните Собрать результаты (Collect Results). Если необходимо собрать метрики для всех моделей в проекте, щелкните Собрать результаты > Собрать все результаты. Если метрические данные были ранее собраны для модели, инструментальная панель заполняется из существующих данных. Для сбора данных для метрики требуется лицензия для продукта, поддерживающего базовые программные продукты, такие как Simulink Requirements, Simulink Test или Simulink Coverage. Однако для просмотра существующих метрических данных лицензия не требуется.
Просмотр трассируемости программных продуктов проекта и проверки
Панель « Программные продукты» организует программные продукты в проекте под моделями, которые они отслеживают. Если в проекте есть изменения в файлах программных продуктов, панель мониторинга указывает, что необходимо обновить данные на панели инструментов, нажав на Trace Artifacts. В данном примере на панели Artifacts разверните папку для модели db_DriverSwRequest. Для модели в проекте трассированные программные продукты включают:
Функциональные требования -- Требования, которые связаны с моделью со ссылкой, где для типа задано значение Implements или косвенно связан с моделью через другие требования. Создайте или импортируйте эти требования в файл требований (.slreqx) при помощи Simulink Requirements.
Проект -- Файл модели, который содержит компонент, который вы тестируете, и библиотеки и словари данных, которые использует модель.
Тесты -- Тесты, которые запускают модель или библиотеку. Создайте эти контрольные примеры в файле тестового набора с помощью Simulink Test.
Результаты тестирования -- Результаты тестов для модели. Чтобы использовать результаты на инструментальной панели, запустите модульные тесты, экспортируйте результаты и сохраните их как файл результатов. На инструментальной панели показаны последние сохраненные результаты из тестов.
Программный продукт появляется в папке Untraced, если инструментальная панель не проследила программный продукт до модели компонента. Папка включает программные продукты, у которых отсутствует трассируемость, и программные продукты, которые не удается отследить на панели мониторинга. Если программный продукт генерирует ошибку во время анализа трассируемости, он появляется в папке Errors. Для получения дополнительной информации о неотследимых программных продуктах и ошибках смотрите Трассировка программных продуктов к компонентам для Анализа тестирования модели.
Перейдите к программному продукту требования db_DriverSwRequest > Функциональные Требования > db_req_funct_spec.slreqx > Cancel Switch Detection и щелкните требование. На панели «Сведения» отображается имя программного продукта и путь папки в проекте к файлу, содержащему программный продукт. Можно прокрутить компонент, свернуть или развернуть список программных продуктов, щелкнув правой кнопкой мыши программный продукт или используя меню
справа от строки поиска.
Просмотр результатов метрики для компонента
Можно собирать и просматривать результаты метрики для каждой модели на панели « Программных продуктах». Чтобы просмотреть результаты для модели db_DriverSwRequestна Программные продукты панели нажмите db_DriverSwRequest. Чтобы открыть результаты для нескольких компонентов одновременно, щелкните правой кнопкой мыши компонент и выберите Открыть на новой вкладке. В верхней части панели мониторинга показаны имя модели, временная метка набора данных и имя пользователя, собравшего данные. Если программные продукты в проекте изменяются после сбора результатов, значок «Устаревшие метрики
» показывает, что на некоторых виджетах панели мониторинга могут отображаться устаревшие данные, которые не содержат изменений. Соответствующие виджеты выделены серым цветом. Повторно соберите метрические данные, чтобы обновить устаревшие виджеты данными из текущих программных продуктов. В данном примере данные на инструментальной панели не устарели.
Виджеты панели мониторинга суммируют результаты метрических данных и показывают проблемы проверки, чтобы решить такие как:
Отсутствующая трассируемость между требованиями и тестами
Тесты или требования с непропорциональным количеством ссылок
Тесты определенных типов, которые вы должны просмотреть
Неудачные или отключенные тесты
Недостающее покрытие
Чтобы изучить данные более подробно, щелкните виджет индивидуума метрики. Для выбранной метрики в таблице отображается значение метрики для каждого программного продукта. Таблица содержит гиперссылки, чтобы открыть программные продукты, чтобы вы могли получить подробные результаты и исправить программные продукты, которые имеют проблемы. При изучении этих таблиц обратите внимание, что:
Результаты можно фильтровать по значению, возвращаемому для каждого программного продукта. Чтобы фильтровать результаты, щелкните значок фильтра в заголовке таблицы.
Некоторые виджеты по умолчанию фильтруют таблицу, показывая только результаты, которые отображает виджет. Для примера в разделе «Требования, связанные с тестами» таблица для виджета Unlinked отфильтрована, чтобы показать только те требования, которые отсутствуют тесты.
Чтобы отсортировать результаты по программному продукту, исходному файлу или значению, щелкните стреле в соответствующем заголовке столбца.
Стандартной мерой качества проверки является трассируемость между отдельными требованиями и тестами, которые их проверяют. Чтобы оценить трассируемость ваших тестов и требований, используйте метрические данные в разделе «Анализ тестовых примеров» инструментальной панели. Вы можете быстро найти проблемы в требованиях и тестах, используя сводные данные в виджетах. Щелкните виджет, чтобы просмотреть таблицу с подробными результатами и ссылками, чтобы открыть программные продукты.
Требования Отсутствующие тесты
В разделе «Требования, связанные с тестами» виджет Unlinked указывает, сколько требований отсутствует. Добавьте тесты и ссылки к этим требованиям. Виджет «Требования с набором тестов» показывает прогресс в связывании как процент требований, имеющих тесты.
Щелкните любой виджет в разделе, чтобы увидеть подробные результаты в таблице Требование, связанное с тестами. Для каждого требования в таблице показан исходный файл, содержащий требование, и указывается, связано ли требование по крайней мере с одним тестом. При нажатии на графический элемент Unlinked таблица фильтруется, чтобы показать только требования, отсутствующие ссылки на тесты.
Требования с непропорциональным количеством тестов
В разделе «Тесты по требованиям» результирующее распределение количественных тестов, связанных с каждым требованием. Для каждого значения цветной интервал указывает количество требований, связанных с таким количеством тестов. Более темные цвета указывают на больше требований. Если требование имеет слишком много тестов, оно может быть слишком широким, и вы можете разбить его на несколько более гранулированных требований и связать их с соответствующими тестами. Если требование имеет слишком мало тестов, рассмотрите добавление дополнительных тестов и привязку их к требованию.
Чтобы увидеть требования, которые имеют определенное количество тестов, щелкните соответствующий интервал, чтобы открыть таблицу Тесты по требованиям. Для каждого требования в таблице показан исходный файл, содержащий требование и количество связанных тестов. Чтобы просмотреть результаты для всех требований, в столбце Связанные контрольные примеры (Linked Тесты) щелкните значок фильтра, а затем выберите Удалить фильтры (Clear Filters).
Тесты Недостающие требования
В разделе «Тесты, связанные с требованиями» виджет Unlinked указывает, сколько тестов не связано с требованиями. Добавьте ссылки из этих тестов к проверяемым им требованиям. Виджет «Тесты с набором требований» показывает прогресс в связывании как процент тестов, которые связываются с требованиями.
Щелкните любой виджет в разделе, чтобы увидеть подробные результаты в таблице Тест, связанный с требованиями. Для каждого тестового примера в таблице показан исходный файл, содержащий тест, и связан ли тестовый пример по крайней мере с одним требованием. При нажатии на графический элемент Unlinked таблица фильтруется, чтобы показать только тесты, у которых отсутствуют ссылки на требования.
Тесты с непропорциональным количеством требований
В виджете Требования к тесту суммируется распределение количества требований, связанных с каждым тестом. Для каждого значения цветной интервал указывает количество требований, связанных с таким количеством тестов. Более темные цвета указывают на больше тестов. Если тест имеет слишком много или слишком мало требований, может быть более трудно исследовать отказы для этого теста, и вы можете захотеть изменить тест или требования, чтобы их было легче отслеживать. Например, если тест проверяет намного больше требований, чем другие тесты, рассмотрите разбивку его на несколько меньших тестов и привязку их к требованиям.
Чтобы просмотреть тесты с определенным количеством требований, щелкните соответствующий интервал, чтобы открыть таблицу Requirements per тест. Для каждого тестового примера в таблице показан исходный файл, содержащий тест, и количество связанных требований. Чтобы просмотреть результаты для всех тестов, в столбце Связанные требования щелкните значок фильтра, а затем выберите Удалить фильтры.
Непропорциональное количество испытаний одного типа
Виджеты «Тесты по типам» и «Тесты с тегами» показывают, сколько тестов имеет компонент каждого типа и с каждым пользовательским тегом. В отраслевых стандартах тесты часто классифицируются как обычные тесты или тесты на робастность. Можно пометить тесты Normal или Robustness и см. общее количество для каждого тега при помощи виджета «Тесты с тегом». Используйте разбивку, чтобы решить, хотите ли вы добавить тесты определенного типа или с определенным тегом.
Чтобы увидеть контрольные примеры одного типа, щелкните соответствующую строку в таблице Тесты по типам, чтобы открыть таблицу Тип тестового примера. Для каждого тестового примера в таблице показан исходный файл, содержащий тест и тип теста. Чтобы просмотреть результаты для всех тестов, в столбце Тип (Type) щелкните значок фильтра, а затем выберите Удалить фильтры (Clear Filters).
Чтобы увидеть контрольные примеры, имеющие тег, щелкните соответствующую строку в таблице Тесты с тегами, чтобы открыть таблицу Теги тестовых примеров. Для каждого тестового примера в таблице показан исходный файл, содержащий тест и теги в тестовом примере. Чтобы просмотреть результаты для всех тестов, в столбце Теги щелкните значок фильтра, а затем выберите Очистить фильтры.
Чтобы просмотреть сводные данные результатов тестирования и измерений покрытия, используйте виджеты в разделе Simulation Test Result Analysis на инструментальной панели. Найдите проблемы в тестах и в модели с помощью метрики результата теста. Найдите погрешности покрытия с помощью метрик покрытия и добавьте тесты для устранения недостающего покрытия. Когда вы запускаете тесты для модели, экспортируйте результаты и сохраните файл в проекте. Затем соберите метрики панели мониторинга и проверьте результаты для этих проблем проверки.
Тесты, которые не прошли
В разделе Model Test Status виджеты Untested и Disabled указывают, сколько тестов для компонента не было выполнено. Запустите тесты с помощью Simulink Test Manager и экспортируйте новые результаты.
Виджет Failed указывает, сколько тестов не прошло. Откройте каждый неудачный тест в диспетчере тестов и исследуйте программные продукты, вызвавшие отказ. Исправьте программные продукты, повторно запустите тесты и экспортируйте результаты.
Щелкните любой виджет в разделе, чтобы открыть таблицу Статус тест. Для каждого тестового примера в таблице показан исходный файл, содержащий тест и состояние результата тестирования. При нажатии на виджеты Неудача, Непроверенная или Отключенная таблица фильтруется, чтобы показать только тесты для этих результатов. Приборная панель анализирует только последний результат теста, который она отслеживает до каждого тестового примера.
Недостающее покрытие
Виджет Покрытие модели показывает, есть ли элементы модели, которые не охвачены тестами. Если один из типов покрытия показывает покрытие менее 100%, можно исследовать разрывы в покрытии. Добавьте тесты, чтобы покрыть пробелы или обосновать точки, которые не должны покрываться. Затем запустите тесты снова и экспортируйте результаты.
Чтобы просмотреть подробные результаты для одного типа покрытия, щелкните соответствующую панель. Для модели и тестов в таблице показан исходный файл и достигнутое и обоснованное покрытие.
