IEC Certification Kit предоставляет специфичные для инструмента тесты и процедуры, которые можно использовать для проверки вашего инструмента. Чтобы просмотреть список этих продуктов, смотрите Продукты, поддерживаемые IEC Certification Kit.
В зависимости от интегрирования MathWorks® Инструменты в рабочем процессе встраиваемого приложения, уровень доверия инструмента могут быть TCL2 или выше и требовать квалификации инструмента (см. ISO 26262 Embedded Coder Квалификации инструмента Пакет и Ссылка). Можно использовать тесты и процедуры для поддержки валидации инструмента. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для проверки Embedded Coder®, Stateflow® и Simulink®.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Процедура проверки Embedded Coder доступна в Execute Validation Tests и Review Test Results for Embedded Coder artifact. Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Примечание
MathWorks признает пакет Automotive Code Validation Suite (AVS) в качестве исходного тестового набора, используемого с Embedded Coder.
Используйте один из следующих методов, чтобы открыть Execute Validation Tests и Review Test Results for Embedded Coder:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Embedded Coder из опций Run Validation Tests.
В Менеджере артефактов откройте Embedded Coder > certkitiec_ecoder_run.mlx.
Документ откроется в MATLAB®. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Процедура проверки Simulink Check™ доступна в Выполнении Тестов Валидации и Рассмотрении Результатов Тестирования для программного продукта Simulink Check. Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть Execute Validation Tests и Review Test Results for Simulink Check:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Check из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Check > certkitiec_slchk_run.mlx.
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
IEC Certification Kit for Simulink Check выполняет автоматическое сравнение сгенерированных результатов (фактических отчетов) с ожидаемыми результатами (базовых отчетов). Результаты этого сравнения гарантируют правильность работы инструмента в установленном окружении. Для получения дополнительной информации о рассмотрении результатов см. «Выполнение Валидации тестов и Просмотр результатов тестирования для Simulink Check».
Для собственных проверок необходимо добавить тесты сертификации, выполнить эти тесты и проверить, что результаты соответствуют ожидаемым.
Чтобы добавить тесты сертификации для собственных проверок:
Создайте новый пакет сертификации и скопируйте matlabroot/toolbox/qualkits/iec/slchk папка и подпапки в расположение, где у вас есть доступ для записи. Для получения дополнительной информации см. раздел «Создание пакетов сертификации» в менеджере артефактов.
Создайте набор экспериментальных моделей, чтобы реализовать возможность проверки и сохранить их в tests подпапка. Как минимум, экспериментальные модели должны включать:
Модель, которая проходит собственную проверку
Модель, которая не проходит проверку
Примечание
В зависимости от объема собственной проверки для реализации комбинаций возможностей проверки могут потребоваться дополнительные экспериментальные модели. Например, проверяйте Check safety-related diagnostic settings for Merge blocks (ID mathworks.iec61508.hisl_0303) требует следующих трёх экспериментальных моделей, чтобы полностью протестировать значения, которые могут быть установлены для параметра конфигурации модели Detect multiple driving blocks executing at the same time step (MergeDetectMultiDrivingBlocksExec):
do178c_hisl_0303_pass_test.slx с набора параметров на error (проверки проходов)
do178c_hisl_0303_warn_test1.slx с набора параметров на warning (проверка не проходит)
do178c_hisl_0303_warn_test2.slx с набора параметров на none (проверка не проходит)
Добавьте информацию о трассируемости для собственных проверок в документ матрицы трассировки certkitiec_slchk_trace.xls. На вкладке Trace Data добавьте строку для каждой собственной проверки и включите информацию, как предусмотрено для других проверок. Используйте запятые для разделения нескольких элементов, таких как экспериментальные модели или ожидаемые результаты. Для получения информации о добавлении комментариев к матрице трассируемости смотрите Добавить комментарии к матрице трассируемости.
Выполните сертификационные тесты с помощью обновленных программных продуктов. Проверьте сгенерированные результаты, чтобы убедиться, что они соответствуют ожидаемым требованиям, и включите добавленные собственные проверки.
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Процедура проверки Simulink Coverage™ доступна в следующих программных продуктах:
Выполните валидационные тесты и рецензируйте результаты тестирования для Simulink Coverage - покрытие модели (certkitiec_slcov_mc_run.mlx)
Выполните валидационные тесты и проверьте результаты тестирования для Simulink Coverage - покрытия кода (certkitiec_slcov_cc_run.mlx)
Эти программные продукты обеспечивают:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть программные продукты процедуры тестирования:
На панели инструментов Simulink откройте приложение IEC Certification Kit и из Run Validation Tests опций выберите:
Simulink Model Coverage для тестов покрытия модели
Simulink Code Coverage для тестов покрытия кода
В менеджере артефактов откройте папку Simulink Coverage и выберите:
certkitiec_slcov_mc_run.mlx для тестов покрытия модели
certkitiec_slcov_cc_run.mlx для тестов покрытия кода
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
IEC Certification Kit for Simulink Coverage выполняет автоматическое сравнение сгенерированных результатов (фактических отчетов) с ожидаемыми результатами (базовых отчетов). Результаты этого сравнения гарантируют правильность работы инструмента в установленном окружении. Для получения дополнительной информации о рассмотрении результатов смотрите:
Выполните валидационные тесты и рецензируйте результаты тестирования для Simulink Coverage - покрытие модели (certkitiec_slcov_mc_run.mlx)
Выполните валидационные тесты и проверьте результаты тестирования для Simulink Coverage - покрытия кода (certkitiec_slcov_cc_run.mlx)
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Процедура проверки Simulink Requirements™ доступна в программном продукте «Выполните тесты валидации и проверьте результаты тестирования для Simulink Requirements». Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть Execute Validation Tests и Review Test Results for Simulink Requirements:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Requirements из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Requirements > certkitiec_slreq_run.mlx.
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Для выполнения процедуры тестирования можно использовать два метода:
Выполните тесты из matlabroot/Folder IEC Certification Kit (для Polyspace® пользователи, которые не используют MATLAB)
Эти лицензии требуются для выполнения процедуры тестирования IEC Certification Kit для Finder™ Polyspace Bug:
IEC Certification Kit
MATLAB
Polyspace Bug Finder
Эти лицензии требуются для выполнения процедуры тестирования IEC Certification Kit для Polyspace Bug Finder Server™:
IEC Certification Kit
MATLAB
Polyspace Bug Finder Server
Чтобы использовать MATLAB для настройки, выполнения и анализа тестов валидации для Polyspace Bug Finder и Polyspace Bug Finder Server, см. «Выполнение тестов валидации и просмотр результатов тестирования для Polyspace Bug Finder и Polyspace Bug Finder Server». Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть Execute Validation Test и Review Test Results для Polyspace Bug Finder и Bug Finder Server:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Polyspace Bug Finder из опций Run Validation Tests.
В Менеджере артефактов откройте Polyspace Bug Finder > certkitiec_bugfinder_run.mlx.
В matlabroot/toolbox/qualkits/iec/bugfinder/, открытые certkitiec_bugfinder_run.mlx.
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
Примечание
Эти шаги предназначены для пользователей Polyspace, которые не используют MATLAB для выполнения тестов IEC Certification Kit для Polyspace Bug Finder или Polyspace Bug Finder Server. Шаги те же, что и в Execute Validation Tests и Review Test Results для Polyspace Bug Finder и Polyspace Bug Finder Server, однако интерактивные команды MATLAB удаляются.
Настройте тесты
Перед выполнением процедуры тестирования скопируйте matlabroot/toolbox/qualkits/iec/bugfinder/ папка и подпапки в расположение, где у вас есть доступ для записи. Тесты выполняются из этого места.
Примечание
Длина пути к файлу ограничена 259 символами. Примите это во факторе при выполнении тестов; следующая ошибка возникает, когда общая длина пути к файлу для результатов превышает максимальный предел символа. Path name <filepath> must not exceed 259 characters. Use a shorter results folder or source file name and try again. Exiting
Управление файлами лицензий
Назначенные компьютерные лицензии (DC)
Перед выполнением процедуры тестирования необходимо скопировать лицензию MATLAB в папку лицензий Polyspace без стирания лицензии Polyspace.
Для Polyspace Bug Finder скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для Polyspace Bug Finder Server скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Управление лицензией MATLAB и лицензиями Polyspace осуществляется через FLEXlm® сервер.
Выполните тесты
Для выполнения тестов:
Измените на matlabroot/toolbox/qualkits/iec/bugfinder/tests папка.
Выполните тесты, используя шаги для вашей платформы:
Windows® ─ в DOS командное окно, смените папку на текущее место и выполните команду, относящуюся к продукту:
Для Polyspace Bug Finder введите certkitiec_bugfinder_tests.bat
Для Polyspace Bug Finder Server введите certkitiec_bugfinderserver_tests.bat
Примечание
Если системная переменная PATH не включает исполняемую папку Polyspace Bug Finder или Polyspace Bug Finder Server, polyspace-<product> not found ошибок или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat Файл и обновите путь к исполняемой папке для продукта Polyspace, который вы определяете, используя POLYSPACE_C переменная окружения. Сохраните файл.
Исполняемые директории Polyspace по умолчанию:
C:\Program Files\<Polyspace_Bug_Finder_root>\
C:\Program Files\<Polyspace_Bug_Finder_Server_root>\
Для примера задайте POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux® и macOS ─ в UNIX командное окно, смените директорию на текущее местоположение и выполните команду, относящуюся к продукту:
Для Polyspace Bug Finder введите certkitiec_bugfinder_tests.sh
Для Polyspace Bug Finder Server введите certkitiec_bugfinderserver_tests.sh
Примечание
Если системная переменная PATH не включает исполняемую папку Polyspace Bug Finder, Polyspace Bug Finder Server или Perl, polyspace-<product> not found ошибок или perl: Command not found может произойти. В этом случае обновите системную переменную PATH чтобы включить исполняемые папки Perl и продукта Polyspace, которые вы проверяете. Сохраните файл.
Исполняемые папки Polyspace по умолчанию:
/usr/local/<Polyspace_Bug_Finder_root>/
/usr/local/<Polyspace_Bug_Finder_Server_root>/
Для примера выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке, чтобы выполнить определенную группу тестов или все тесты.
Примечание
Не изменяйте тестовые скрипты, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически конфигурирует и выполняет тесты для всех поддерживаемых компиляторов и целевых процессоров.
Проверьте результаты тестирования (все, кроме генератора отчетов)
Выполнение процедуры тестирования генерирует эти отчеты, которые идентифицируют PASSED/ FAILED результат для каждого теста. Эти отчеты хранятся в /bugfinder/outputs.
Сводные отчеты о валидации для Polyspace Bug Finder включают:
certkitiec-bugfinder-qualificationreport-checks.txt, который предоставляет результаты для тестов в тестовом наборе дефектов кода.
certkitiec-bugfinder-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в метрическом тестовом наборе кода.
certkitiec-bugfinder-qualificationreport-certc-2016.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования C:2016 CERT.
certkitiec-bugfinder-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования C:2004 MISRA.
certkitiec-bugfinder-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в C:2012 стандартов кодирования MISRA (Поправка 1:2016) тестового набора.
certkitiec-bugfinder-qualificationreport-misracpp-2008.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования MISRA C++.
certkitiec-bugfinder-qualificationreport-options-api.txt, который предоставляет результаты для тестов в опции тестового набора API.
certkitiec-bugfinder-qualificationreport-programming-languages.txt, который предоставляет результаты для тестов в тестовом наборе языков программирования.
certkitiec-bugfinder-qualificationreport-reporting.txt, который предоставляет результаты для тестов в тестовом наборе интерфейсов инструментов.
certkitiec-bugfinder-qualificationreport-guidelines.txt, который предоставляет результаты для тестов в тестовом наборе Guidelines.
Сводные отчеты о валидации для Polyspace Bug Finder Server включают:
certkitiec-bugfinder-server-qualificationreport-checks.txt, который предоставляет результаты для тестов в тестовом наборе дефектов кода.
certkitiec-bugfinder-server-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в метрическом тестовом наборе кода.
certkitiec-bugfinder-server-qualificationreport-certc-2016.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования C:2016 CERT.
certkitiec-bugfinder-server-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования C:2004 MISRA.
certkitiec-bugfinder-server-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в C:2012 стандартов кодирования MISRA (Поправка 1:2016) тестового набора.
certkitiec-bugfinder-server-qualificationreport-misracpp-2008.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования MISRA C++.
certkitiec-bugfinder-server-qualificationreport-options-api.txt, который предоставляет результаты для тестов в опции тестового набора API.
certkitiec-bugfinder-server-qualificationreport-programming-languages.txt, который предоставляет результаты для тестов в тестовом наборе языков программирования.
certkitiec-bugfinder-server-qualificationreport-reporting.txt, который предоставляет результаты для тестов в тестовом наборе интерфейсов инструментов.
certkitiec-bugfinder-server-qualificationreport-guidelines.txt, который предоставляет результаты для тестов в тестовом наборе Guidelines.
Чтобы просмотреть результаты тестирования:
Подтвердите, что отчеты о тестах сгенерированы без ошибок или предупреждений.
Проверьте сводные отчеты о валидации и подтвердите, что результаты тестирования имеют PASSED состояние. Когда фактические результаты совпадают с ожидаемыми результатами, проходят тесты.
Для любых тестов с FAILED состояние, вручную проверьте результаты тестирования, соответствующие неудачным тестам.
Получите ожидаемые результаты от REF раздел файла исходного кода, сопоставленный с тестом (т.е. <IEC Bug Finder Test Folder>/tests/<test suite>/*.c).
Проверьте, что ожидаемые результаты соответствуют фактическому результату, представленному в любом из следующих файлов:
Для Polyspace Bug Finder:
<IEC Bug Finder Test Folder>/tests/bug-finder-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/bug-finder-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для Polyspace Bug Finder Server:
<IEC Bug Finder Test Folder>/tests/bug-finder-server-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/bug-finder-server-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не совпадают, оцените влияние несоответствия относительно действий жизненного цикла программного обеспечения, выполненных с помощью инструмента. Для получения дополнительной информации обратитесь в MathWorks.
Примечание
Когда язык на вашем компьютере не является английским, автоматическое сравнение ожидаемых результатов с фактическими результатами может завершиться неудачно, поскольку ожидаемые результаты, сгенерированные MathWorks, указаны на английском языке, а фактические результаты указаны на локальном языке компьютера. Если это происходит, необходимо вручную просмотреть результаты.
Сконфигурируйте содержимое matlabroot/toolbox/qualkits/iec/bugfinder в системе управления строением.
Проверьте результаты тестирования генератора отчетов
Метод просмотра результатов тестирования генератора отчетов отличается в зависимости от формата отчетов.
Когда формат .htmlподдерживается автоматическое сравнение отчетов. Проверьте PASSED/ FAILED результат для каждого теста, как представлено в сводном отчете о валидации. Эти отчеты хранятся в /bugfinder/outputs:
Для Polyspace Bug Finder файл следующий certkitiec-bug-finder-qualificationreport-reporting.txt.
Для Polyspace Bug Finder Server файл certkitiec-bug-finder-server-qualificationreport-reporting.txt.
Когда формат .pdf и .docxавтоматическое сравнение отчетов НЕ поддерживается. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. По PASS, содержимое фактических и ожидаемых результатов должны быть равными.
Для Polyspace Bug Finder:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/bug-finder-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder/<template test suite>/*.docx или *.pdf
Для Polyspace Bug Finder Server:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/bug-finder-server-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder-server/<template test suite>/*.docx или *.pdf
Примечание
При сравнении отчетов содержимое среды (например, временные метки или время длительности теста) может отличаться между фактическими и ожидаемыми результатами.
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Для выполнения процедуры тестирования можно использовать два метода:
Выполните тесты из matlabroot/Folder IEC Certification Kit (для пользователей Polyspace, которые не используют MATLAB)
Эти лицензии требуются для выполнения процедуры тестирования IEC Certification Kit для Polyspace Code Prover™:
IEC Certification Kit
MATLAB
Polyspace Code Prover
Polyspace Bug Finder
Эти лицензии требуются для выполнения процедуры тестирования IEC Certification Kit для Polyspace Code Prover Server:
IEC Certification Kit
MATLAB
Polyspace Code Prover Server
Polyspace Bug Finder Server
Чтобы использовать MATLAB для настройки, выполнения и анализа тестов валидации для Polyspace Code Prover и Polyspace Code Prover Server, смотрите Выполнение тестов валидации и Просмотр результатов тестирования для Polyspace Code Prover и Polyspace Code Prover Server. Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть Execute Validation Tests и Review Test Results для Polyspace Code Prover и Polyspace Code Prover Server:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Polyspace Code Prover из опций Run Validation Tests.
В Менеджере артефактов откройте Polyspace Code Prover > certkitiec_codeprover_run.mlx.
В matlabroot/toolbox/qualkits/iec/codeprover/, открытые certkitiec_codeprover_run.mlx.
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
Примечание
Эти шаги предназначены для пользователей Polyspace, которые не используют MATLAB для выполнения теста IEC Certification Kit для Polyspace Code Prover и Polyspace Code Prover Server. Шаги те же, что и в Execute Validation Tests и Review Test Results для Polyspace Code Prover и Polyspace Code Prover Server, однако интерактивные команды MATLAB удаляются.
Настройте тесты
Перед выполнением процедуры тестирования скопируйте matlabroot/toolbox/qualkits/iec/codeprover/ папка и подпапки в расположение, где у вас есть доступ для записи. Тесты выполняются из этого места.
Примечание
Длина пути к файлу ограничена 259 символами. Примите это во факторе при выполнении тестов; следующая ошибка возникает, когда общая длина пути к файлу для результатов превышает максимальный предел символа. Path name <filepath> must not exceed 259 characters. Use a shorter results folder or source file name and try again. Exiting
Управление файлами лицензий
Назначенные компьютерные лицензии (DC)
Перед выполнением процедуры тестирования необходимо скопировать лицензию MATLAB в папку лицензий Polyspace без стирания лицензии Polyspace.
Для Polyspace Code Prover скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для сервера Polyspace Code Prover Server скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Управление лицензией MATLAB и лицензиями Polyspace осуществляется через сервер FLEXlm.
Выполните тесты
Для выполнения тестов:
Измените на matlabroot/toolbox/qualkits/iec/codeprover/tests папка.
Выполните тесты, используя шаги для вашей платформы:
Windows ─ В командном окне DOS смените директорию на текущее место и выполните команду для конкретного продукта:
Для Polyspace Code Prover введите certkitiec_codeprover_tests.bat
Для Polyspace Code Prover Server введите certkitiec_codeproverserver_tests.bat
Примечание
Если системная переменная PATH не содержит исполняемую папку Polyspace Code Prover или Polyspace Code Prover Server, polyspace-<product> not found ошибок или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat и обновите путь к исполняемой папке для продукта Polyspace, который вы определяете, используя POLYSPACE_C переменная окружения. Сохраните файл.
Исполняемые папки Polyspace по умолчанию:
C:\Program Files\<Polyspace_Code_Prover_root>\
C:\Program Files\<Polyspace_Code_Prover_Server_root>\
Для примера задайте POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux и macOS ─ В командном окне UNIX смените директорию на текущее место и выполните команду для продукта:
Для Polyspace Code Prover введите certkitiec_codeprover_tests.sh
Для Polyspace Code Prover Server введите certkitiec_codeproverserver_tests.sh
Примечание
Если системная переменная PATH не включает исполняемую директорию Polyspace Code Prover, Polyspace Code Prover Server или Perl, polyspace-<product> not found ошибок или perl: Command not found может произойти. В этом случае обновите системную переменную PATH чтобы включить исполняемые директории Perl и продукта Polyspace, которые вы проверяете. Сохраните файл.
Исполняемые директории Polyspace по умолчанию:
/usr/local/<Polyspace_Code_Prover_root>/
/usr/local/<Polyspace_Code_Prover_Server_root>/
Для примера выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке, чтобы выполнить определенную группу тестов или все тесты.
Примечание
Не изменяйте тестовые скрипты, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически конфигурирует и выполняет тесты для всех поддерживаемых компиляторов и целевых процессоров.
Проверьте результаты тестирования (все, кроме генератора отчетов)
Выполнение процедуры тестирования генерирует эти отчеты, которые идентифицируют PASSED/ FAILED результат для каждого теста. Эти отчеты хранятся в /codeprover/outputs.
Сводные отчеты о валидации для Polyspace Code Prover включают:
certkitiec-codeprover-qualificationreport-checks.txt, который предоставляет результаты для тестов в тестовом наборе дефектов кода.
certkitiec-codeprover-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в метрическом тестовом наборе кода.
certkitiec-codeprover-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования C:2004 MISRA.
certkitiec-codeprover-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в C:2012 стандартов кодирования MISRA (Поправка 1:2016) тестового набора.
certkitiec-codeprover-qualificationreport-misracpp-2008.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования MISRA C++: 2008.
certkitiec-codeprover-qualificationreport-options-api.txt, который предоставляет результаты для тестов в опции тестового набора API.
certkitiec-codeprover-qualificationreport-programming-languages.txt, который предоставляет результаты для тестов в тестовом наборе языков программирования.
certkitiec-codeprover-qualificationreport-reporting.txt, который предоставляет результаты для тестов в тестовом наборе интерфейсов инструментов.
Сводные отчеты о валидации для Polyspace Code Prover Server включают:
certkitiec-codeprover-server-qualificationreport-checks.txt, который предоставляет результаты для тестов в тестовом наборе дефектов кода.
certkitiec-codeprover-server-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в метрическом тестовом наборе кода.
certkitiec-codeprover-server-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования C:2004 MISRA.
certkitiec-codeprover-server-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в C:2012 стандартов кодирования MISRA (Поправка 1:2016) тестового набора.
certkitiec-codeprover-server-qualificationreport-misracpp-2008.txt, который предоставляет результаты для тестов в тестовом наборе стандартов кодирования MISRA C++: 2008.
certkitiec-codeprover-server-qualificationreport-options-api.txt, который предоставляет результаты для тестов в опции тестового набора API.
certkitiec-codeprover-server-qualificationreport-programming-languages.txt, который предоставляет результаты для тестов в тестовом наборе языков программирования.
certkitiec-codeprover-server-qualificationreport-reporting.txt, который предоставляет результаты для тестов в тестовом наборе интерфейсов инструментов.
Чтобы просмотреть результаты тестирования:
Подтвердите, что отчеты о тестах сгенерированы без ошибок или предупреждений.
Проверьте сводные отчеты о валидации и подтвердите, что результаты тестирования имеют PASSED состояние. Когда фактические результаты совпадают с ожидаемыми результатами, проходят тесты.
Для любых тестов с FAILED состояние, вручную проверьте результаты тестирования, соответствующие неудачным тестам.
Получите ожидаемые результаты от REF раздел файла исходного кода, сопоставленный с тестом (т.е. <IEC Code Prover Test Folder>/tests/<test suite>/*.c).
Проверьте, что ожидаемые результаты соответствуют фактическому результату, представленному в любом из следующих файлов:
Для Polyspace Code Prover:
<IEC Code Prover Test Folder>/tests/code-prover-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Code Prover Test Folder>/tests/code-prover-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для сервера Polyspace Code Prover Server:
<IEC Code Prover Test Folder>/tests/code-prover-server-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Code Prover Test Folder>/tests/code-prover-server-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не совпадают, оцените влияние несоответствия относительно действий жизненного цикла программного обеспечения, выполненных с помощью инструмента. Для получения дополнительной информации обратитесь в MathWorks.
Примечание
Когда язык на вашем компьютере не является английским, автоматическое сравнение ожидаемых результатов с фактическими результатами может завершиться неудачно, поскольку ожидаемые результаты, сгенерированные MathWorks, указаны на английском языке, а фактические результаты указаны на локальном языке компьютера. Если это происходит, необходимо вручную просмотреть результаты.
Сконфигурируйте содержимое matlabroot/toolbox/qualkits/iec/codeprover в системе управления строением.
Проверьте результаты тестирования генератора отчетов
Метод просмотра результатов тестирования генератора отчетов отличается в зависимости от формата отчетов.
Когда формат .htmlподдерживается автоматическое сравнение отчетов. Проверьте PASSED/ FAILED результат для каждого теста, как представлено в сводном отчете о валидации. Эти отчеты хранятся в /codeprover/outputs:
Для Polyspace Bug Finder файл следующий certkitiec-code-prover-qualificationreport-reporting.txt.
Для Polyspace Bug Finder Server файл certkitiec-code-prover-server-qualificationreport-reporting.txt.
Когда формат .pdf и .docxавтоматическое сравнение отчетов НЕ поддерживается. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. По PASS, содержимое фактических и ожидаемых результатов должны быть равными.
Для Polyspace Code Prover:
Фактические результаты: <IEC Code Prover Test Folder>/tests/code-prover-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Code Prover Test Folder>/expected_results/reporting-code-prover/<template test suite>/*.docx или *.pdf
Для сервера Polyspace Code Prover Server:
Фактические результаты: <IEC Code Prover Test Folder>/tests/ecode-prover-server-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Code Prover Test Folder>/expected_results/reporting-code-prover-server/<template test suite>/*.docx или *.pdf
Примечание
При сравнении отчетов содержимое среды (например, временные метки или время длительности теста) может отличаться между фактическими и ожидаемыми результатами.
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Процедура проверки Simulink Test™ доступна в разделах Выполнение Валидациях тестов и Просмотр результатов тестирования для программного продукта тестирования Simulink. Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть Execute Validation Tests и Review Test Results for Simulink Test:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Test из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Test > certkitiec_sltest_run.mlx.
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.
IEC Certification Kit for Simulink Test выполняет автоматическое сравнение сгенерированных результатов (фактических отчетов) с ожидаемыми результатами (базовых отчетов). Результаты этого сравнения гарантируют правильность работы инструмента в установленном окружении. Для получения дополнительной информации о рассмотрении результатов см. «Выполнение Валидации тестов и Просмотр результатов тестирования для Simulink Test» (certkitiec_sltest_run.mlx).
Контрольные примеры являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, релевантные для вашего приложения, вашего конкретного строения инструмента и рабочего окружения. Вам могут потребоваться дополнительные тесты, основанные на использовании инструмента, для поддержки валидации инструмента.
Примечание
Изменение существующих текстовых обращений может привести к FAILED тесты. Рекомендуется, чтобы вы добавляли или удаляли тесты, чтобы удовлетворить вашим требованиям проверки.
Процедура проверки Simulink Design Verifier™ доступна в артефакте «Выполнить тесты валидации и просмотреть результаты тестирования для Simulink Design Verifier». Этот программный продукт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги строения
Как выполнить процедуру тестирования
Список сгенерированных отчетов о тестах и как просмотреть результаты тестирования
Используйте один из следующих методов, чтобы открыть Execute Validation Tests и Review Test Results for Simulink Design Verifier:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Design Verifier из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Design Verifier > certkitiec_sldv_run.mlx.
The .mlx откроется файл в MATLAB. Следуйте рабочему процессу, чтобы сконфигурировать и выполнить процедуру тестирования и просмотреть результаты. Где это применимо, вы находите интерактивные ссылки, которые выполняют команды.