Вы можете использовать панель мониторинга тестирования моделей для оценки качества и полноты ваших действий по тестированию на основе требований в соответствии со стандартом ISO 26262-6: 2018. Инструментальная панель упрощает эту операцию, отслеживая прослеживаемость между требованиями, тестами и результатами испытаний, а также предоставляя сводку о полноте тестирования и структурном охвате. Панель управления анализирует артефакты реализации и проверки в проекте и обеспечивает:
Показатели полноты и качества для тестов на основе требований в соответствии с ISO 26262-6: 2018, пункт 9,4,3
Показатели полноты и качества для результатов испытаний на основе требований в соответствии с ISO 26262-6: 2018, пункт 9,4,4
Список артефактов в проекте, организованный подразделениями
Чтобы оценить полноту ваших действий по тестированию на основе требований, выполните эти автоматические и ручные шаги проверки с помощью панели мониторинга тестирования модели.
Для анализа артефактов тестирования с помощью панели мониторинга тестирования модели:
Откройте проект, содержащий модели и артефакты тестирования. Или для загрузки примера проекта для панели мониторинга в командной строке введите dashboardCCProjectStart.
Откройте панель мониторинга. На вкладке Проект (Project) щелкните Панель мониторинга тестирования модели (Model Testing Dashboard).
Если панель мониторинга для проекта не была открыта ранее, она должна идентифицировать артефакты в проекте и отслеживать их по моделям. Для этого выполните анализ и соберите результаты метрики, щелкнув Трассировка (Trace) и Собрать все (Collect All).
На панели Артефакты (Artifacts) панель мониторинга организует артефакты, такие как требования, примеры тестов и результаты тестов в моделях, по которым они отслеживаются. Просмотр результатов метрики для единицы измерения db_DriverSwRequest в примере проекта на панели «Артефакты» щелкните db_DriverSwRequest. Инструментальная панель заполняет виджеты данными из последней коллекции метрик для единицы измерения.
Примечание
Панель мониторинга тестирования моделей учитывает каждую модель в проекте, представляющую один программный блок. Панель управления можно настроить для распознавания моделей программных единиц измерения с помощью кнопки Опции (Options). Другие разделы, в которых задокументирована панель мониторинга, не относящиеся к ISO 26262-6, используют термин «компонент» для описания единицы измерения, которую панель мониторинга может анализировать. Если термин «компонент» фигурирует в других темах о приборной панели, он относится к архитектурному уровню единицы измерения, как описано в ISO 26262-6: 2018.
Виджеты инструментальной панели отображают сводные данные об измерениях отслеживаемости и полноты для артефактов тестирования для каждого блока. Результаты метрики, отображаемые желтым шрифтом, указывают на проблемы, которые могут потребоваться для завершения тестирования установки на основе требований. Чтобы просмотреть данные более подробно, щелкните отдельный графический элемент метрики. Для выбранной метрики в таблице отображаются артефакты и значение метрики для каждого артефакта. Таблица содержит гиперссылки для открытия артефактов, чтобы получить подробные результаты и исправить артефакты, которые имеют проблемы. Дополнительные сведения об использовании панели мониторинга тестирования модели см. в разделе Изучение состояния и качества действий тестирования с помощью панели мониторинга тестирования модели.
Чтобы убедиться в том, что единица измерения удовлетворяет предъявляемым требованиям, создайте для нее тестовые примеры на основе этих требований. ISO 26262-6, пункт 9.4.3 требует, чтобы испытательные примеры для установки производились на основе требований. При создании тестового случая для требования добавляется связь прослеживаемости между тестовым случаем и требованием, как описано в разделе Требования к тестам (Simulink Requirements) и в разделе Определение отслеживаемости требований для тестирования (Simulink Test). Отслеживаемость позволяет отслеживать, какие требования были проверены тестами, и определять требования, которые не удовлетворяются моделью. Пункт 9.4.3 требует прослеживаемости между требованиями и тестовыми случаями, а также проверки правильности и полноты тестовых случаев. Чтобы оценить правильность и полноту тестовых примеров для блока, используйте метрики в разделе Анализ тестовых примеров (Test Case Analysis) панели мониторинга тестирования модели.
Ниже приведен примерный контрольный список, предоставленный для облегчения проверки правильности и полноты тестового случая в соответствии со стандартом ISO 26262-6. Для каждого вопроса выполните действие проверки с использованием соответствующей метрики панели мониторинга и примените соответствующее исправление. Этот контрольный список приведен в качестве примера и должен быть пересмотрен и изменен в соответствии с требованиями приложения.
| Элемент контрольного списка | Проверка действия | Метрика панели мониторинга | Зафиксировать |
|---|---|---|---|
| 1 - Отслеживается ли каждый тестовый случай в соответствии с требованиями? | Проверьте, что 100% тестовых примеров для установки связаны с требованиями, путем просмотра тестов, связанных с требованиями. | Тесты, связанные с требованиями
Метрический идентификатор - Дополнительные сведения см. в разделе Тест, связанный с процентом потребности. | Для каждого несвязанного тестового случая добавьте ссылку на требование проверки тестового случая, как описано в разделе Исправление проблем тестирования на основе требований. |
| 2 - Отслеживается ли каждый тестовый случай в соответствии с правильными требованиями? | Для каждого тестового случая вручную проверьте правильность требования, с которым он связан. Щелкните графический элемент «Тесты, связанные с требованиями», чтобы просмотреть таблицу тестовых примеров. Чтобы просмотреть требования, по которым выполняется трассировка тестового случая, в столбце Артефакты щелкните стрелку слева от имени тестового случая. | Тесты, связанные с требованиями
Метрический идентификатор - Дополнительные сведения см. в разделе Тестирование, связанное с требованиями. | Для каждой ссылки на неверное требование удалите ссылку. Если в тестовом случае отсутствует ссылка на правильное требование, добавьте правильную ссылку. |
| 3 - Охватывают ли тестовые примеры все требования? | Проверьте, что 100% требований к установке связаны с тестовыми примерами путем просмотра «Требования, связанные с тестами». | Требования, связанные с тестами
Метрический идентификатор - Дополнительные сведения см. в разделе Процентные требования к тестовым случаям. | Для каждого несвязанного требования добавьте ссылку на проверяющий его тестовый случай, как описано в разделе Исправление проблем тестирования на основе требований. |
| 4 - Определяют ли тестовые примеры ожидаемые результаты, включая критерии прохождения/неуспешного завершения? | Вручную просмотрите тестовые примеры каждого типа. Щелкните графический элемент «Тесты по типу», чтобы просмотреть таблицу тестовых примеров и их типов. Откройте каждый тестовый случай в диспетчере тестов с помощью гиперссылок в столбце «Артефакт». Базовые тестовые примеры должны определять базовые критерии. Для тестов моделирования проверьте, что каждый тест определяет критерии прохождения/неуспешности с помощью оценок, как описано в разделе Оценка моделирования и сравнение выходных данных (Simulink Test). | Тесты по типу
Метрический идентификатор - Дополнительные сведения см. в разделе Тип теста. | Для каждого тестового случая, в котором не определены ожидаемые результаты, в диспетчере тестов добавьте ожидаемые результаты и критерии прохождения/неуспешного завершения. |
| 5 - Каждый ли тестовый случай должным образом проверяет требование, к которому он ведет трассировку? | Вручную просмотрите ссылки на требования и содержимое для каждого тестового случая. Щелкните графический элемент «Тесты, связанные с требованиями», чтобы просмотреть таблицу тестовых примеров. Чтобы просмотреть требования, по которым выполняется трассировка тестового случая, в столбце Артефакт (Artifact) щелкните стрелку слева от имени тестового случая. Используйте гиперссылки, чтобы открыть тестовый случай и требование и проверить, что тестовый случай правильно проверяет требование. | Тесты, связанные с требованиями
Метрический идентификатор - Дополнительные сведения см. в разделе Тестирование, связанное с требованиями. | Для каждого тестового случая, который не тестирует должным образом, необходимо выполнить трассировку для обновления тестового случая в диспетчере тестов. В качестве альтернативы добавьте тестовые примеры, которые дополнительно проверяют требование. |
После выполнения тестов на блоке необходимо проверить результаты, чтобы убедиться в том, что тесты выполнены, пройдены и проверены в достаточной степени. Пункт 9,4,4 в ISO 26262-6: 2018 требует, чтобы вы проанализировали охват требований для каждой единицы. Убедитесь, что все тестовые примеры протестировали предполагаемую модель и прошли проверку. Кроме того, измерьте охват блока, собрав результаты покрытия модели в тестах. Чтобы оценить охват тестирования требований к устройству, используйте метрики в разделе Анализ результатов тестирования (Test Result Analysis) панели мониторинга тестирования модели.
Для упрощения анализа и анализа результатов испытаний с помощью инструментальной панели предоставляется следующий контрольный список. Для каждого вопроса выполните действие проверки с использованием соответствующей метрики панели мониторинга и примените соответствующее исправление. Этот контрольный список приведен в качестве примера и должен быть пересмотрен и изменен в соответствии с требованиями приложения.
| Элемент контрольного списка | Проверка действия | Метрика панели мониторинга | Зафиксировать |
|---|---|---|---|
| 1 - Отслеживается ли результат каждого теста на тестовый случай? | Используйте только результаты тестирования, отображаемые на панели мониторинга. Результаты тестирования, которые не отслеживаются в тестовом случае, не отображаются на панели мониторинга. Щелкните виджет в разделе «Состояние теста», чтобы просмотреть таблицу тестовых примеров и результаты, отслеживающие их. | Состояние тестирования модели
Метрический идентификатор - Дополнительные сведения см. в разделе Распределение статуса тестового случая. | Повторно запустите тесты, по которым результаты должны быть отслежены, и экспортируйте новые результаты. |
| 2 - Отслеживается ли результат каждого теста? | Убедитесь, что нулевые тестовые случаи не проверены и нулевые тестовые случаи отключены. | Состояние тестирования модели
Метрический идентификатор - Дополнительные сведения см. в разделе Распределение статуса тестового случая. | Для каждого отключенного или непроверенного тестового случая в диспетчере тестов включите и запустите тест. |
| 3 - Все ли тестовые примеры были выполнены? | Убедитесь, что нулевые тестовые случаи не проверены и нулевые тестовые случаи отключены. | Состояние тестирования модели
Метрический идентификатор - Дополнительные сведения см. в разделе Распределение статуса тестового случая. | Для каждого отключенного или непроверенного тестового случая в диспетчере тестов включите и запустите тест. |
| 4 - Проходят ли все тесты? | Проверьте, что пройдено 100% тестов для установки. | Состояние теста модели > Пройдено
Метрический идентификатор - Дополнительные сведения см. в разделе Процент состояния тестового случая. | Для каждого провала теста просмотрите его в Диспетчере тестов и исправьте соответствующий тестовый случай или элемент конструкции в модели. |
| 5 - Все ли результаты теста включают результаты покрытия? | Вручную просмотрите каждый результат теста в диспетчере тестов, чтобы проверить, что он включает результаты покрытия. | Неприменимо | Для каждого результата теста, не включающего покрытие, откройте тестовый случай в диспетчере тестов и включите сбор покрытия. Снова запустите тестовый случай. |
| 6 - Были ли достигнуты требуемые цели структурного охвата для каждого подразделения? | Проверьте, что тесты достигли 100% покрытия модели для типов покрытия, необходимых для модульного тестирования. Для определения требуемых типов покрытия необходимо учитывать уровень безопасности программного обеспечения и использовать таблицу 9 пункта 9,4,4 стандарта ISO 26262-6: 2018. | Покрытие модели
Метрический идентификатор - Метрический идентификатор - Метрический идентификатор - Метрический идентификатор - Дополнительные сведения см. в разделе:
| Для каждого элемента конструкции, который не покрыт, проанализируйте, чтобы определить причину пропущенного покрытия. Анализ может выявить недостатки в тестах, требованиях или внедрении. При необходимости добавьте тесты для покрытия элемента. Либо добавьте фильтр выравнивания, который выравнивает пропущенное покрытие, как описано в разделе Создание, редактирование и просмотр правил фильтра покрытия (покрытие Simulink). |
| 7 - Были ли недостатки приемлемо обоснованы? | Вручную просмотрите обоснования покрытия. Щелкните строку в виджете «Покрытие модели», чтобы просмотреть таблицу результатов для соответствующего типа покрытия. Чтобы открыть результат теста в диспетчере тестов для дальнейшего просмотра, щелкните гиперссылку в столбце «Артефакты». | Покрытие модели
Метрический идентификатор - Метрический идентификатор - Метрический идентификатор - Метрический идентификатор - Дополнительные сведения см. в разделе:
| Для каждого разрыва покрытия, который не является приемлемо обоснованным, обновите обоснование отсутствующего покрытия. В качестве альтернативы добавьте тестовые примеры для покрытия зазора. |
Панель мониторинга тестирования модели предоставляет информацию о качестве и полноте действий по тестированию на основе требований установки. Чтобы соответствовать стандарту ISO 26262-6: 2018, необходимо также протестировать программное обеспечение на других архитектурных уровнях. ISO 26262-6: 2018 описывает требования к соответствию для этих уровней тестирования:
Тестирование блока программного обеспечения в таблице 7, метод 1j
Тестирование интеграции программного обеспечения в таблице 10, метод 1a
Тестирование встроенного программного обеспечения в таблице 14, метод 1a
Общий процесс проверки, подробно описанный в ISO 26262-8: 2018, пункт 9, включает в себя дополнительную информацию о том, как вы можете систематически проводить тестирование для каждого из этих уровней, используя планирование, спецификацию, выполнение, оценку и документацию тестов. В этой таблице показано, как панель мониторинга тестирования модели применяется к требованиям ISO 26262-8: 2018, пункт 9 для уровня тестирования установки, и дополнительные действия, необходимые для выполнения, чтобы показать соответствие.
| Требование | Аргумент соответствия | Дополнительные виды деятельности |
|---|---|---|
| 9.4.1 - Объем проверочной деятельности | Панель мониторинга тестирования модели применяется ко всем программным блокам, связанным и не связанным с безопасностью. | Неприменимо |
| 9.4.2 - Методы проверки | Инструментальная панель тестирования модели предоставляет сводку о завершении тестирования на основе требований (таблица 7, метод 1j), включая обзор результатов тестирования. | В соответствующих случаях следует применять один или несколько из следующих методов проверки:
|
| 9.4.3 - Методы получения контрольных примеров | Инструментальная панель тестирования модели предоставляет несколько способов анализа требований к программному блоку и соответствующих тестов, что позволяет извлекать тестовые примеры из требований. | Можно также выполнить деривацию тестовых примеров с помощью других инструментов, таких как Simulink ® Design Verifier™. |
| 9.4.4 - Требования и структурный охват | Панель мониторинга тестирования модели помогает показать:
| Панель управления обеспечивает структурный охват только на уровне модели. Для отслеживания структурного покрытия на уровне кода можно использовать другие инструменты. |
| 9.4.5 - Испытательная среда | Панель мониторинга тестирования модели помогает проводить тестирование на основе требований на уровне модели. | Примените обратные тесты сравнения, чтобы убедиться, что поведение модели эквивалентно сгенерированному коду. |
Ссылки:
ISO 26262-4: 2018 (en) Дорожные транспортные средства - Функциональная безопасность - Часть 4: Разработка продукции на системном уровне, Международная организация по стандартизации
ISO 26262-6: 2018 (en) Дорожные транспортные средства - Функциональная безопасность - Часть 6: Разработка продукции на уровне программного обеспечения, Международная организация по стандартизации
ISO 26262-8: 2018 (en) Дорожные транспортные средства - Функциональная безопасность - Часть 8: Поддержка процессов, Международная организация по стандартизации
