В этом примере показано, как решить общие проблемы отслеживания в требованиях модели и тестах с помощью панели мониторинга тестирования модели. Панель управления анализирует артефакты тестирования в проекте и сообщает метрические данные об измерениях качества и полноты, таких как прослеживаемость и охват, которые отражают руководящие принципы в признанных в отрасли стандартах разработки программного обеспечения, таких как ISO 26262 и DO-178C. Виджеты панели мониторинга суммируют данные, чтобы можно было отслеживать ход тестирования на основе требований и устранять пробелы, выделяемые панелью мониторинга. Можно щелкнуть виджеты, чтобы открыть таблицы с подробной информацией, где можно найти и исправить артефакты тестирования, не соответствующие соответствующим стандартам.
На панели инструментов отображаются данные тестирования для модели и артефакты, по которым модель ведет трассировку в рамках проекта. В этом примере откройте проект и соберите метрические данные для артефактов.
Откройте проект. В командной строке введите dashboardCCProjectStart.
Откройте панель мониторинга. На вкладке Проект (Project) щелкните Панель мониторинга тестирования модели (Model Testing Dashboard).
Если панель мониторинга для проекта не была открыта ранее, она должна идентифицировать артефакты в проекте и отслеживать их по моделям. Чтобы выполнить анализ и собрать результаты метрики, щелкните Трассировка (Trace) и Собрать все (Collect All).
На панели Артефакты (Artifacts) панель мониторинга организует артефакты, такие как требования, примеры тестов и результаты тестов в моделях, по которым они отслеживаются. Просмотр результатов метрики для модели db_DriverSwRequest. На панели Артефакты (Artifacts) щелкните имя модели. Инструментальная панель заполняет виджеты данными из последней коллекции метрик для модели.
Затем используйте данные панели «Артефакты» и виджетов панели мониторинга для поиска и устранения проблем в требованиях и тестах модели.
На панели «Артефакты» в папке «Без трассировки» отображаются артефакты, которые не отслеживаются по моделям в проекте. Можно проверить артефакты в этой папке, чтобы узнать, есть ли какие-либо требования, которые должны быть реализованы моделями, но отсутствуют ссылки. В этом примере свяжите одно из этих требований с блоком модели, который его реализует, и обновите панель «Артефакты», чтобы отразить связь.
На панели «Артефакты» перейдите к требованию «Не отслеживается» > «Функциональные требования» > db_req_func_spec.slreqx > Изменить приоритет.
Откройте требование в редакторе требований. На панели «Артефакты» дважды щелкните «Приоритет переключения». Это требование описывает порядок действий системы круиз-контроля при одновременном включении нескольких переключателей. Оставьте редактор требований открытым с выбранным требованием.
Открытие модели db_Controller. Чтобы открыть модель с панели мониторинга тестирования модели, на панели «Артефакты» разверните папку db_Controller > Дизайн и дважды щелкните db_Controller.slx.
Блок «Модель» DriverSwRequest ссылается на модель db_DriverSwRequest, который управляет порядком действий системы круиз-контроля при включенном переключателе. Свяжите этот блок модели с требованием. Щелкните правой кнопкой мыши блок модели и выберите Requirements > Link to Selection in Requirements Browser.
Сохраните модель. На вкладке Моделирование (Simulation) щелкните Сохранить (Save).
Сохраните набор требований. В редакторе требований щелкните значок «Сохранить».
Чтобы обновить информацию об отслеживании артефактов, на панели мониторинга тестирования модели щелкните Трассировка артефактов.
На панели «Артефакты» отображается требование к приоритету коммутатора в разделе db_Controller > Функциональные требования > db_req_func_spec.slreqx. Затем найдите проблемы отслеживания в артефактах, собрав метрики на панели мониторинга.
Откройте инструментальную панель для db_DriverSwRequest компонента, щелкнув имя компонента на панели «Артефакты». Поскольку вы изменили файл требований, добавив ссылку, виджеты панели мониторинга подсвечиваются серым цветом, чтобы показать, что результаты могут представлять устаревшие данные. Чтобы обновить результаты для компонента, щелкните Собрать результаты (Collect Results).
Виджеты в разделе Анализ тестовых примеров (Test Case Analysis) панели инструментов отображают данные о требованиях к модели, тестовых примерах для модели и связях между ними. Виджеты указывают, есть ли пробелы в тестировании и отслеживаемости реализованных требований.
Требования к соединениям и тестовые примеры
В модели db_DriverSwRequestв разделе «Требования, связанные с тестами» показано, что в некоторых требованиях модели отсутствуют ссылки на тестовые примеры. Проверьте требования, щелкнув один из виджетов панели мониторинга. Затем используйте ссылки в таблице, чтобы открыть артефакты и устранить проблемы с отслеживанием.
Для просмотра подробной информации о несвязанных требованиях в разделе «Требования, связанные с тестами» выберите виджет «Несвязанные». В таблице представлены требования, реализованные в модели, но не имеющие ссылок на тестовый случай. Таблица фильтруется для отображения только тех требований, в которых отсутствуют ссылки на тестовые случаи. В этом примере следует связать тест с требованием. Set Switch Detection.
Откройте требование в редакторе требований. В таблице щелкните Set Switch Detection.
В редакторе требований проверьте подробные сведения о требовании. Это требование описывает поведение Set переключаться при нажатии. Сохраните выбранное требование в редакторе требований.
Проверьте наличие тестового случая для поведения коммутатора. Чтобы вернуться к результатам метрики, в верхней части панели мониторинга тестирования модели нажмите кнопку db_DriverSwRequest. В разделе «Тесты, связанные с требованиями» показано, что один тестовый случай не связан с требованиями.
Чтобы просмотреть несвязанные тестовые примеры, в разделе «Тесты, связанные с требованиями» выберите «Несвязанные».
Чтобы открыть тест в диспетчере тестов, в таблице щелкните тестовый пример. Set button. Тестовый случай проверяет поведение Resume переключатель. Если тестовый случай для коммутатора еще не был, необходимо добавить тестовый случай с помощью диспетчера тестов.
Свяжите тестовый случай с требованием. В Диспетчере тестов для тестового случая разверните раздел Требования. Щелкните Добавить > Связать с выбранным требованием. Связь отслеживания указывает, что тестовый случай Set button проверяет требование Set Switch Detection.
Результаты метрики на панели инструментов отражают только сохраненные файлы артефактов. Сохранение набора тестов db_DriverSwRequest_Tests.mldatx, в обозревателе тестов щелкните правой кнопкой мыши db_DriverSwRequest_Tests и нажмите кнопку «Сохранить».
Сохранение файла требований db_req_func_spec.slreqx. В редакторе требований нажмите кнопку «Сохранить».
Затем обновите данные метрики на панели мониторинга, чтобы увидеть эффект от добавления ссылки.
Обновить результаты метрики на панели мониторинга
Обновите результаты метрик на панели мониторинга тестирования модели, чтобы они отражали связь отслеживания между требованием и тестовым случаем.
Чтобы проанализировать изменения артефакта на панели мониторинга тестирования модели, щелкните Трассировка артефактов. Кнопка активируется при изменении артефактов проекта, которые не были проанализированы панелью мониторинга.
В верхней части панели инструментов значок Устаревшие метрики (Stale Metrics
) указывает, что по крайней мере один графический элемент метрики показывает устаревшие данные для модели. Виджеты, отображающие устаревшие метрические данные, выделяются серым цветом. Чтобы обновить виджеты, повторно соберите метрические данные для модели, щелкнув Собрать результаты (Collect Results).
Виджеты анализа тестовых примеров показывают, что осталось 11 несвязанных требований. В разделе «Тесты, связанные с требованиями» показано, что нет несвязанных тестов. Как правило, перед выполнением тестов необходимо изучить и устранить эти проблемы отслеживания тестирования, добавив тесты и связав их с требованиями. В этом примере оставьте несвязанные артефакты и перейдите к следующему шагу выполнения тестов.
После создания и связывания модульных тестов, проверяющих требования, выполните тесты для проверки соответствия функциональных возможностей модели требованиям. Для просмотра сводки результатов тестирования и измерений покрытия используйте виджеты в разделе «Анализ результатов тестирования» панели мониторинга. Виджеты выделяют ошибки тестирования и пробелы. Используйте результаты метрики для базовых артефактов для устранения проблем.
Проведение блочных испытаний
Запустите тестовые примеры для модели с помощью диспетчера тестов. Сохраните результаты как артефакт в проекте и просмотрите их на панели мониторинга тестирования модели.
Откройте модульные тесты для модели в Диспетчере тестов (Test Manager). На панели инструментов тестирования модели на панели «Артефакты» разверните модель. db_DriverSwRequest. Разверните папку Test Cases и дважды щелкните тестовый файл. db_DriverSwRequest_Tests.mldatx.
В диспетчере тестирования нажмите кнопку «Выполнить».
Чтобы использовать результаты теста на панели мониторинга тестирования модели, экспортируйте результаты теста и сохраните файл в проекте. На вкладке Тесты (Tests) в разделе Результаты (Results) щелкните Экспорт (Export). Назовите файл результатов Results1.mldatx и сохраните файл в корневой папке проекта.
Панель мониторинга тестирования модели обнаруживает, что вы экспортировали результаты, и автоматически обновляет панель артефактов, чтобы отразить новые результаты. Виджеты в разделе «Анализ результатов тестирования» выделены серым цветом, что указывает на то, что они отображают устаревшие данные. Чтобы обновить данные в виджетах панели мониторинга, щелкните Собрать результаты (Collect Results).
Устранение сбоев и пробелов в тестировании
В модели db_DriverSwRequest, в разделе Model Test Status (Состояние теста модели) указывается, что один тест завершился неуспешно, а один тест был отключен во время последнего тестового запуска. Откройте тесты и устраните эти проблемы.
Чтобы просмотреть отключенный тест, на панели мониторинга щелкните виджет Отключено. В таблице показаны отключенные тестовые примеры для модели.
Откройте отключенный тест в диспетчере тестов. В таблице щелкните тест Decrement button hold.
Включите тест. В обозревателе тестов щелкните правой кнопкой мыши тестовый пример и выберите «Включено». Сохраните файл набора тестов.
Чтобы просмотреть провальный тест, на панели мониторинга щелкните графический элемент «Провал».
Откройте неуспешный тест в диспетчере тестов. В таблице щелкните тест Cancel button.
Проверьте отказ теста в диспетчере тестов. Можно определить необходимость обновления теста или модели с помощью результатов теста и ссылок на модель. В этом примере вместо устранения отказа продолжайте проверку покрытия теста.
Проверьте, полностью ли выполнялись запущенные тесты конструкции модели с помощью метрик покрытия. В этом примере в разделе «Покрытие модели» панели инструментов показано, что некоторые условия в модели не были охвачены. Наведите курсор на панель виджета, чтобы увидеть, какой процент покрытия условия был достигнут. Для этого примера 86,4% решений были охвачены тестами, и 4,55% решений были обоснованы в фильтре покрытия.
Просмотр сведений о покрытии решения. Щелкните панель «Решение».
В таблице разверните артефакт модели. В таблице представлены результаты теста для модели и файл результатов, в котором они содержатся. Открыть файл результатов Results1.mldatx в Диспетчере тестирования.
Для просмотра подробных результатов покрытия откройте модель в ракурсе Покрытие. В диспетчере тестов в разделе Агрегированные результаты покрытия в столбце Анализируемая модель щелкните db_DriverSwRequest.
Подсветка покрытия на модели показывает точки, которые не были охвачены тестовыми случаями. Для точки, которая не покрыта, добавьте тест, который охватывает ее. Найдите требование, реализуемое элементом модели, или, если оно отсутствует, добавьте для него требование. Свяжите новый тестовый случай с требованием. Если точка не должна быть охвачена, оправдайте недостающее покрытие с помощью фильтра. В этом примере не устраняйте недостающую зону покрытия.
После обновления модульных тестов для устранения сбоев и пробелов выполните тесты и сохраните результаты. Затем изучите результаты, собрав метрики на панели мониторинга.
В проекте с большим количеством артефактов и соединений отслеживания можно контролировать состояние артефактов проектирования и тестирования при каждом изменении файла в проекте. После изменения артефакта проверьте, есть ли последующие воздействия тестирования, обновив данные трассировки и результаты метрики на панели мониторинга. Используйте таблицы для поиска и исправления затронутых артефактов. Отслеживайте прогресс, обновляя виджеты панели мониторинга до тех пор, пока они не покажут, что качество тестирования модели соответствует стандартам проекта.