В комплекте для сертификации IEC представлены тестовые примеры и процедуры для конкретного инструмента, которые можно использовать для проверки инструмента. Список этих продуктов см. в разделе Продукты, поддерживаемые комплектом для сертификации IEC.
В зависимости от интеграции инструментов MathWorks ® в рабочий процесс встраиваемых приложений уровень достоверности инструмента может быть TCL2 или выше и требовать квалификации инструмента (см. ISO 26262 Embedded Coder Tool Qualification Package and Reference Workflow). Для поддержки проверки инструмента можно использовать тестовые примеры и процедуры. Для проверки встроенных кодеров ®, Stateflow ® и Simulink ® могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Процедура проверки встроенного кодера доступна в разделе Выполнение тестов проверки и проверка результатов тестирования для артефакта встроенного кодера. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Примечание
MathWorks подтверждает, что пакет Automotive Code Validation Suite (AVS) является первоначальным пакетом тестов, используемым с встроенным кодером.
Используйте один из следующих методов для открытия окна «Выполнение проверочных тестов и просмотр результатов тестов для встроенного кодера»:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Embedded Coder из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте Embedded Coder > certkitiec_ecoder_run.mlx.
Документ откроется в MATLAB ®. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды .
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Процедура проверки Check™ Simulink доступна в разделе Выполнение тестов проверки и просмотр результатов тестов для артефакта проверки Simulink. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов для открытия окна Выполнение проверочных тестов и Просмотр результатов тестов для проверки Simulink:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Check из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте пункт Simulink Check > certkitiec_slchk_run.mlx.
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.
Сертификационный комплект МЭК для Simulink Check выполняет автоматическое сравнение полученных результатов (фактических отчетов) с ожидаемыми результатами (базовых отчетов). Результаты этого сравнения гарантируют правильную работу инструмента в установленной среде. Дополнительные сведения о проверке результатов см. в разделе Выполнение проверок и проверка результатов проверки Simulink Check.
Для пользовательских проверок необходимо добавить тесты сертификации, выполнить эти тесты и убедиться, что результаты соответствуют ожидаемым.
Чтобы добавить сертификационные тесты для пользовательских проверок:
Создайте новый пакет сертификации и скопируйте matlabroot/toolbox/qualkits/iec/slchk папку и вложенные папки в расположение, в котором имеется доступ на запись. Дополнительные сведения см. в разделе Создание пакетов сертификации в обозревателе артефактов.
Создайте набор тестовых моделей для выполнения функции проверки и сохраните их в tests подпапка. Как минимум, испытательные модели должны включать:
Модель, которая проходит пользовательскую проверку
Модель, не прошедшая проверку
Примечание
В зависимости от объема пользовательской проверки могут потребоваться дополнительные тестовые модели для выполнения комбинаций возможностей проверки. Например, установите флажок Проверить параметры диагностики, связанные с безопасностью, для блоков слияния (идентификатор mathworks.iec61508.hisl_0303) требуются следующие три тестовые модели для полного тестирования значений, которые могут быть установлены для параметра конфигурации модели Detect multiple driving block executing that time step (Обнаружение нескольких управляющих блоков, выполняемых одновременно) (MergeDetectMultiDrivingBlocksExec):
do178c_hisl_0303_pass_test.slx с параметром, установленным на error (проверка пропусков)
do178c_hisl_0303_warn_test1.slx с параметром, установленным на warning (проверка не проходит)
do178c_hisl_0303_warn_test2.slx с параметром, установленным на none (проверка не проходит)
Добавление информации об отслеживании пользовательских проверок в документ матрицы трассировки certkitiec_slchk_trace.xls. На вкладке Данные трассировки (Trace Data) добавьте строку для каждой пользовательской проверки и включите информацию, как указано для других проверок. Используйте запятые для разделения нескольких элементов, таких как тестовые модели или ожидаемые результаты. Сведения о добавлении комментариев в матрицу отслеживания см. в разделе Добавление комментариев в матрицу отслеживания.
Выполните сертификационные тесты с использованием обновленных артефактов. Просмотрите созданные результаты, чтобы убедиться, что они соответствуют ожиданиям, и включите добавленные пользовательские проверки.
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Процедура проверки Coverage™ Simulink доступна в следующих артефактах:
Выполнение проверочных тестов и проверка результатов тестов для покрытия Simulink - покрытие модели (certkitiec_slcov_mc_run.mlx)
Выполнение проверочных тестов и проверка результатов тестов для покрытия Simulink - покрытие кода (certkitiec_slcov_cc_run.mlx)
Эти артефакты обеспечивают:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов для открытия артефактов процедуры тестирования:
На панели инструментов Simulink откройте приложение IEC Certification Kit и в меню Run Validation Tests выберите один из следующих вариантов:
Simulink Model Coverage для тестов покрытия модели
Simulink Code Coverage для тестов покрытия кода
В обозревателе артефактов откройте папку Simulink Coverage и выберите один из следующих вариантов:
certkitiec_slcov_mc_run.mlx для тестов покрытия модели
certkitiec_slcov_cc_run.mlx для тестов покрытия кода
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.
Комплект сертификации МЭК для покрытия Simulink выполняет автоматическое сравнение полученных результатов (фактических отчетов) с ожидаемыми результатами (базовых отчетов). Результаты этого сравнения гарантируют правильную работу инструмента в установленной среде. Дополнительные сведения о просмотре результатов см. в разделе:
Выполнение проверочных тестов и проверка результатов тестов для покрытия Simulink - покрытие модели (certkitiec_slcov_mc_run.mlx)
Выполнение проверочных тестов и проверка результатов тестов для покрытия Simulink - покрытие кода (certkitiec_slcov_cc_run.mlx)
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Процедура проверки Requirements™ Simulink доступна в артефакте Execute Validation Tests and Review Test Results for Simulink Requirements. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов для открытия окна «Выполнение проверочных тестов и просмотр результатов тестов для требований Simulink»:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Requirements из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте раздел Требования к Simulink > certkitiec_slreq_run.mlx.
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Для выполнения процедуры тестирования можно использовать два метода:
Выполнение тестов из комплекта сертификации IEC matlabroot/Folder (для пользователей Polyspace ®, не использующих MATLAB)
Эти лицензии необходимы для выполнения процедуры тестирования комплекта для сертификации IEC для Polyspace Bug Finder™:
Комплект для сертификации МЭК
MATLAB
Поиск ошибок Polyspace
Эти лицензии необходимы для выполнения процедуры тестирования комплекта сертификации IEC для Polyspace Bug Finder Server™:
Комплект для сертификации МЭК
MATLAB
Сервер поиска ошибок Polyspace
Сведения об использовании MATLAB для настройки, выполнения и проверки тестов проверки для Polyspace Bug Finder и Polyspace Bug Finder Server см. в разделах Выполнение тестов проверки и просмотр результатов тестов для Polyspace Bug Finder и Polyspace Bug Finder Server. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов, чтобы открыть модуль Execute Validation Tests and Review Test Results for Polyspace Bug Finder and Bug Finder Server:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Polyspace Bug Finder из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте Polyspace Bug Finder > certkitiec_bugfinder_run.mlx.
В matlabroot/toolbox/qualkits/iec/bugfinder/, открыть certkitiec_bugfinder_run.mlx.
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.
matlabroot/ Папка
Примечание
Эти шаги предназначены для пользователей Polyspace, которые не используют MATLAB для выполнения тестов IEC Certification Kit для Polyspace Bug Finder или Polyspace Bug Finder Server. Шаги аналогичны шагам выполнения проверочных тестов и проверки результатов тестов для Polyspace Bug Finder и Polyspace Bug Finder Server, однако интерактивные команды MATLAB удалены.
Настройка тестов
Перед выполнением процедуры тестирования скопируйте matlabroot/toolbox/qualkits/iec/bugfinder/ папку и вложенные папки в расположение, в котором имеется доступ на запись. Тесты выполняются из этого местоположения.
Примечание
Длина пути к файлу ограничена 259 символами. учитывать это при проведении испытаний; следующая ошибка возникает, когда общая длина пути к файлу для результатов превышает максимальный предел символов. Path name <filepath> must not exceed 259 characters. Use a shorter results folder or source file name and try again. Exiting
Управление файлами лицензий
Назначенные лицензии на компьютеры (DC)
Перед выполнением процедуры тестирования необходимо скопировать лицензию MATLAB в папку лицензий Polyspace без стирания лицензии Polyspace.
Для поиска ошибок Polyspace скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для сервера поиска ошибок Polyspace скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Управление лицензиями MATLAB и Polyspace осуществляется через сервер FLEXlm ®.
Выполнение тестов
Для выполнения тестов:
Изменение на matlabroot/toolbox/qualkits/iec/bugfinder/tests папка.
Выполните тесты, используя шаги для платформы:
Windows ® ─ In aDOS измените папку на текущее местоположение и выполните команду для конкретного продукта:
Для поиска ошибок Polyspace введите certkitiec_bugfinder_tests.bat
Для сервера поиска ошибок Polyspace введите certkitiec_bugfinderserver_tests.bat
Примечание
Если системная переменная PATH не включает исполняемую папку Polyspace Bug Finder или Polyspace Bug Finder Server, ошибка polyspace-<product> not found или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat и обновите путь к исполняемой папке для продукта Polyspace с помощью POLYSPACE_C переменная среды. Сохраните файл.
По умолчанию используются следующие исполняемые каталоги Polyspace:
C:\Program Files\<Polyspace_Bug_Finder_root>\
C:\Program Files\<Polyspace_Bug_Finder_Server_root>\
Например, установить POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux ® и macOS ─ В UNIX измените каталог на текущее местоположение и выполните команду для конкретного продукта:
Для поиска ошибок Polyspace введите certkitiec_bugfinder_tests.sh
Для сервера поиска ошибок Polyspace введите certkitiec_bugfinderserver_tests.sh
Примечание
Если системная переменная PATH не включает Polyspace Bug Finder, Polyspace Bug Finder Server или исполняемую папку Perl, ошибка polyspace-<product> not found или perl: Command not found может произойти. В этом случае обновите системную переменную. PATH чтобы включить исполняемые папки Perl и продукта Polyspace, для которого вы участвуете. Сохраните файл.
По умолчанию используются следующие исполняемые папки Polyspace:
/usr/local/<Polyspace_Bug_Finder_root>/
/usr/local/<Polyspace_Bug_Finder_Server_root>/
Например, выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке для выполнения определенной группы тестов или всех тестов.
Примечание
Не изменяйте сценарии тестирования, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически настраивает и выполняет тестовые примеры для всех поддерживаемых компиляторов и целевых процессоров.
Просмотрите результаты тестирования (все, кроме генератора отчетов)
При выполнении процедуры тестирования генерируются эти отчеты, которые идентифицируют PASSED/FAILED результат для каждого тестового случая. Эти отчеты хранятся в /bugfinder/outputs.
Сводные отчеты проверки для Polyspace Bug Finder включают:
certkitiec-bugfinder-qualificationreport-checks.txt, который предоставляет результаты для тестов в наборе тестов на дефекты кода.
certkitiec-bugfinder-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в наборе тестов метрики кода.
certkitiec-bugfinder-qualificationreport-certc-2016.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования CERT C:2016.
certkitiec-bugfinder-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2004.
certkitiec-bugfinder-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2012 (Поправка 1:2016).
certkitiec-bugfinder-qualificationreport-misracpp-2008.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C++.
certkitiec-bugfinder-qualificationreport-options-api.txt, который предоставляет результаты для тестов в наборе тестов опций API.
certkitiec-bugfinder-qualificationreport-programming-languages.txt, который предоставляет результаты тестов в наборе тестов языков программирования.
certkitiec-bugfinder-qualificationreport-reporting.txt, который предоставляет результаты для тестов в наборе тестов интерфейсов инструментальных средств.
certkitiec-bugfinder-qualificationreport-guidelines.txt, в котором представлены результаты тестов в наборе тестов Guidelines.
Сводные отчеты проверки для сервера Polyspace Bug Finder:
certkitiec-bugfinder-server-qualificationreport-checks.txt, который предоставляет результаты для тестов в наборе тестов на дефекты кода.
certkitiec-bugfinder-server-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в наборе тестов метрики кода.
certkitiec-bugfinder-server-qualificationreport-certc-2016.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования CERT C:2016.
certkitiec-bugfinder-server-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2004.
certkitiec-bugfinder-server-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2012 (Поправка 1:2016).
certkitiec-bugfinder-server-qualificationreport-misracpp-2008.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C++.
certkitiec-bugfinder-server-qualificationreport-options-api.txt, который предоставляет результаты для тестов в наборе тестов опций API.
certkitiec-bugfinder-server-qualificationreport-programming-languages.txt, который предоставляет результаты тестов в наборе тестов языков программирования.
certkitiec-bugfinder-server-qualificationreport-reporting.txt, который предоставляет результаты для тестов в наборе тестов интерфейсов инструментальных средств.
certkitiec-bugfinder-server-qualificationreport-guidelines.txt, в котором представлены результаты тестов в наборе тестов Guidelines.
Для просмотра результатов теста:
Убедитесь, что отчеты о тестах созданы без ошибок или предупреждений.
Просмотрите сводные отчеты о проверке и подтвердите, что результаты теста имеют PASSED статус. Если фактические результаты соответствуют ожидаемым результатам, тестовые примеры проходят.
Для любых тестовых случаев с FAILED проверьте вручную результаты теста, соответствующие неуспешным тестовым случаям.
Получение ожидаемых результатов из REF раздел файла исходного кода, связанный с тестовым случаем (т. е. <IEC Bug Finder Test Folder>/tests/<test suite>/*.c).
Убедитесь, что ожидаемые результаты соответствуют фактическому результату, предоставленному в любом из этих файлов:
Для поиска ошибок Polyspace:
<IEC Bug Finder Test Folder>/tests/bug-finder-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/bug-finder-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для сервера поиска ошибок Polyspace:
<IEC Bug Finder Test Folder>/tests/bug-finder-server-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/bug-finder-server-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не совпадают, оцените влияние несоответствия на действия жизненного цикла программного обеспечения, выполняемые с помощью инструмента. Для получения дополнительной информации обратитесь в MathWorks.
Примечание
Если язык компьютера не является английским, автоматическое сравнение ожидаемых результатов с фактическими может завершиться неудачей, так как ожидаемые результаты, сгенерированные MathWorks, находятся на английском языке, а фактические результаты находятся на языке, определенном локально на компьютере. В этом случае необходимо вручную просмотреть результаты.
Конфигурирование содержимого matlabroot/toolbox/qualkits/iec/bugfinder в системе управления конфигурацией.
Просмотр результатов тестирования генератора отчетов
Метод проверки результатов тестирования генератора отчетов отличается в зависимости от формата отчетов.
Когда формат .htmlподдерживается автоматическое сравнение отчетов. Просмотрите PASSED/FAILED результат для каждого тестового случая, как представлено в сводном отчете о проверке. Эти отчеты хранятся в /bugfinder/outputs:
Для Polyspace Bug Finder файл certkitiec-bug-finder-qualificationreport-reporting.txt.
Для сервера поиска ошибок Polyspace файл certkitiec-bug-finder-server-qualificationreport-reporting.txt.
Когда формат .pdf и .docxавтоматическое сравнение отчетов НЕ поддерживается. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. Кому PASS, содержание фактических и ожидаемых результатов должно быть одинаковым.
Для поиска ошибок Polyspace:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/bug-finder-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder/<template test suite>/*.docx или *.pdf
Для сервера поиска ошибок Polyspace:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/bug-finder-server-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder-server/<template test suite>/*.docx или *.pdf
Примечание
При сравнении отчетов специфичное для среды содержимое (например, временные метки или продолжительность теста) может отличаться между фактическими и ожидаемыми результатами.
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Для выполнения процедуры тестирования можно использовать два метода:
Выполнение тестов из комплекта сертификации МЭК matlabroot/Folder (для пользователей Polyspace, не использующих MATLAB)
Эти лицензии необходимы для выполнения процедуры тестирования комплекта сертификации МЭК для Prover™ кода Polyspace:
Комплект для сертификации МЭК
MATLAB
Проверка кода Polyspace
Поиск ошибок Polyspace
Эти лицензии необходимы для выполнения процедуры тестирования комплекта сертификации IEC для сервера проверки кода Polyspace:
Комплект для сертификации МЭК
MATLAB
Сервер проверки кода Polyspace
Сервер поиска ошибок Polyspace
Сведения об использовании MATLAB для настройки, выполнения и проверки тестов проверки для сервера проверки кода Polyspace и сервера проверки кода Polyspace см. в разделах Выполнение тестов проверки и просмотр результатов тестов для сервера проверки кода Polyspace и сервера проверки кода Polyspace. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов для открытия окна «Выполнение проверочных тестов и просмотр результатов тестов для сервера проверки кода Polyspace и сервера проверки кода Polyspace»:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Polyspace Code Prover из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте средство проверки кода Polyspace > certkitiec_codeprover_run.mlx.
В matlabroot/toolbox/qualkits/iec/codeprover/, открыть certkitiec_codeprover_run.mlx.
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.
matlabroot/ Папка
Примечание
Эти шаги предназначены для пользователей Polyspace, которые не используют MATLAB для выполнения теста IEC Certification Kit для сервера проверки кода Polyspace и сервера проверки кода Polyspace. Шаги аналогичны шагам в разделе Выполнение проверочных тестов и проверка результатов тестов для проверочных программ Polyspace Code Prover и Polyspace Code Prover Server, однако интерактивные команды MATLAB удаляются.
Настройка тестов
Перед выполнением процедуры тестирования скопируйте matlabroot/toolbox/qualkits/iec/codeprover/ папку и вложенные папки в расположение, в котором имеется доступ на запись. Тесты выполняются из этого местоположения.
Примечание
Длина пути к файлу ограничена 259 символами. учитывать это при проведении испытаний; следующая ошибка возникает, когда общая длина пути к файлу для результатов превышает максимальный предел символов. Path name <filepath> must not exceed 259 characters. Use a shorter results folder or source file name and try again. Exiting
Управление файлами лицензий
Назначенные лицензии на компьютеры (DC)
Перед выполнением процедуры тестирования необходимо скопировать лицензию MATLAB в папку лицензий Polyspace без стирания лицензии Polyspace.
Для проверки кода Polyspace скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для сервера проверки кода Polyspace скопируйте <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Управление лицензиями MATLAB и Polyspace осуществляется через сервер FLEXlm.
Выполнение тестов
Для выполнения тестов:
Изменение на matlabroot/toolbox/qualkits/iec/codeprover/tests папка.
Выполните тесты, используя шаги для платформы:
Windows ─ В окне команды DOS измените каталог на текущее расположение и выполните команду для конкретного продукта:
В поле «Проверка кода пространства» введите certkitiec_codeprover_tests.bat
Для параметра «Сервер проверки кода Polyspace» введите certkitiec_codeproverserver_tests.bat
Примечание
Если системная переменная PATH не включает исполняемую папку сервера проверки кода Polyspace или сервера проверки кода Polyspace, ошибка polyspace-<product> not found или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat и обновите путь к исполняемой папке для продукта Polyspace, для которого вы участвуете, с помощью POLYSPACE_C переменная среды. Сохраните файл.
По умолчанию используются следующие исполняемые папки Polyspace:
C:\Program Files\<Polyspace_Code_Prover_root>\
C:\Program Files\<Polyspace_Code_Prover_Server_root>\
Например, установить POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux и macOS ─ В окне команд UNIX измените каталог на текущее местоположение и выполните команду для конкретного продукта:
В поле «Проверка кода пространства» введите certkitiec_codeprover_tests.sh
Для параметра «Сервер проверки кода Polyspace» введите certkitiec_codeproverserver_tests.sh
Примечание
Если системная переменная PATH не включает в себя сервер проверки кода Polyspace, сервер проверки кода Polyspace или исполняемый каталог Perl, ошибка polyspace-<product> not found или perl: Command not found может произойти. В этом случае обновите системную переменную. PATH чтобы включить исполняемые каталоги Perl и продукта Polyspace, для которого вы участвуете. Сохраните файл.
По умолчанию используются следующие исполняемые каталоги Polyspace:
/usr/local/<Polyspace_Code_Prover_root>/
/usr/local/<Polyspace_Code_Prover_Server_root>/
Например, выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке для выполнения определенной группы тестов или всех тестов.
Примечание
Не изменяйте сценарии тестирования, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически настраивает и выполняет тестовые примеры для всех поддерживаемых компиляторов и целевых процессоров.
Просмотрите результаты тестирования (все, кроме генератора отчетов)
При выполнении процедуры тестирования генерируются эти отчеты, которые идентифицируют PASSED/FAILED результат для каждого тестового случая. Эти отчеты хранятся в /codeprover/outputs.
Сводные отчеты проверки для средства проверки кода Polyspace включают:
certkitiec-codeprover-qualificationreport-checks.txt, который предоставляет результаты для тестов в наборе тестов на дефекты кода.
certkitiec-codeprover-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в наборе тестов метрики кода.
certkitiec-codeprover-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2004.
certkitiec-codeprover-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2012 (Поправка 1:2016).
certkitiec-codeprover-qualificationreport-misracpp-2008.txt, который предоставляет результаты тестов в наборе тестов стандартов кодирования MISRA C++: 2008.
certkitiec-codeprover-qualificationreport-options-api.txt, который предоставляет результаты для тестов в наборе тестов опций API.
certkitiec-codeprover-qualificationreport-programming-languages.txt, который предоставляет результаты тестов в наборе тестов языков программирования.
certkitiec-codeprover-qualificationreport-reporting.txt, который предоставляет результаты для тестов в наборе тестов интерфейсов инструментальных средств.
Сводные отчеты проверки для сервера проверки кода Polyspace включают:
certkitiec-codeprover-server-qualificationreport-checks.txt, который предоставляет результаты для тестов в наборе тестов на дефекты кода.
certkitiec-codeprover-server-qualificationreport-code-metrics.txt, который предоставляет результаты для тестов в наборе тестов метрики кода.
certkitiec-codeprover-server-qualificationreport-misrac-2004.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2004.
certkitiec-codeprover-server-qualificationreport-misrac-2012.txt, который предоставляет результаты для тестов в наборе тестов стандартов кодирования MISRA C:2012 (Поправка 1:2016).
certkitiec-codeprover-server-qualificationreport-misracpp-2008.txt, который предоставляет результаты тестов в наборе тестов стандартов кодирования MISRA C++: 2008.
certkitiec-codeprover-server-qualificationreport-options-api.txt, который предоставляет результаты для тестов в наборе тестов опций API.
certkitiec-codeprover-server-qualificationreport-programming-languages.txt, который предоставляет результаты тестов в наборе тестов языков программирования.
certkitiec-codeprover-server-qualificationreport-reporting.txt, который предоставляет результаты для тестов в наборе тестов интерфейсов инструментальных средств.
Для просмотра результатов теста:
Убедитесь, что отчеты о тестах созданы без ошибок или предупреждений.
Просмотрите сводные отчеты о проверке и подтвердите, что результаты теста имеют PASSED статус. Если фактические результаты соответствуют ожидаемым результатам, тестовые примеры проходят.
Для любых тестовых случаев с FAILED проверьте вручную результаты теста, соответствующие неуспешным тестовым случаям.
Получение ожидаемых результатов из REF раздел файла исходного кода, связанный с тестовым случаем (т. е. <IEC Code Prover Test Folder>/tests/<test suite>/*.c).
Убедитесь, что ожидаемые результаты соответствуют фактическому результату, предоставленному в любом из этих файлов:
Для проверки кода Polyspace:
<IEC Code Prover Test Folder>/tests/code-prover-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Code Prover Test Folder>/tests/code-prover-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для сервера проверки кода Polyspace:
<IEC Code Prover Test Folder>/tests/code-prover-server-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Code Prover Test Folder>/tests/code-prover-server-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не совпадают, оцените влияние несоответствия на действия жизненного цикла программного обеспечения, выполняемые с помощью инструмента. Для получения дополнительной информации обратитесь в MathWorks.
Примечание
Если язык компьютера не является английским, автоматическое сравнение ожидаемых результатов с фактическими может завершиться неудачей, так как ожидаемые результаты, сгенерированные MathWorks, находятся на английском языке, а фактические результаты находятся на языке, определенном локально на компьютере. В этом случае необходимо вручную просмотреть результаты.
Конфигурирование содержимого matlabroot/toolbox/qualkits/iec/codeprover в системе управления конфигурацией.
Просмотр результатов тестирования генератора отчетов
Метод проверки результатов тестирования генератора отчетов отличается в зависимости от формата отчетов.
Когда формат .htmlподдерживается автоматическое сравнение отчетов. Просмотрите PASSED/FAILED результат для каждого тестового случая, как представлено в сводном отчете о проверке. Эти отчеты хранятся в /codeprover/outputs:
Для Polyspace Bug Finder файл certkitiec-code-prover-qualificationreport-reporting.txt.
Для сервера поиска ошибок Polyspace файл certkitiec-code-prover-server-qualificationreport-reporting.txt.
Когда формат .pdf и .docxавтоматическое сравнение отчетов НЕ поддерживается. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. Кому PASS, содержание фактических и ожидаемых результатов должно быть одинаковым.
Для проверки кода Polyspace:
Фактические результаты: <IEC Code Prover Test Folder>/tests/code-prover-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Code Prover Test Folder>/expected_results/reporting-code-prover/<template test suite>/*.docx или *.pdf
Для сервера проверки кода Polyspace:
Фактические результаты: <IEC Code Prover Test Folder>/tests/ecode-prover-server-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Code Prover Test Folder>/expected_results/reporting-code-prover-server/<template test suite>/*.docx или *.pdf
Примечание
При сравнении отчетов специфичное для среды содержимое (например, временные метки или продолжительность теста) может отличаться между фактическими и ожидаемыми результатами.
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Процедура проверки Test™ Simulink доступна в разделе Выполнение тестов проверки и просмотр результатов тестов для артефакта Simulink Test. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов для открытия окна «Выполнение проверочных тестов и просмотр результатов тестов для Simulink Test»:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Test из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте Simulink Test > certkitiec_sltest_run.mlx.
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.
Сертификационный комплект МЭК для Simulink Test выполняет автоматическое сравнение полученных результатов (фактических отчетов) с ожидаемыми результатами (базовых отчетов). Результаты этого сравнения гарантируют правильную работу инструмента в установленной среде. Дополнительные сведения о просмотре результатов см. в разделе Выполнение проверочных тестов и просмотр результатов тестов для Simulink Test (certkitiec_sltest_run.mlx).
Тестовые примеры представляют собой шаблоны, которые можно изменять и расширять для создания наборов тестов, удовлетворяющих требованиям, предъявляемым к приложению, конкретной конфигурации инструмента и операционной среде. Для поддержки проверки инструмента могут потребоваться дополнительные тестовые примеры, основанные на использовании инструмента.
Примечание
Изменение существующих текстовых вариантов может привести к FAILED тесты. Рекомендуется добавлять или удалять тестовые примеры в соответствии с требованиями тестирования.
Процедура проверки Verifier™ Simulink Design доступна в артефакте Execute Validation Tests and Review Test Results for Simulink Design Verifier. Этот артефакт обеспечивает:
Требования к программному обеспечению для выполнения процедуры тестирования
Шаги конфигурирования
Выполнение процедуры тестирования
Список созданных отчетов о тестах и способов проверки результатов тестирования
Используйте один из следующих методов для открытия окна «Выполнение проверочных тестов и просмотр результатов тестов для Simulink Design Verifier»:
На панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Design Verifier из параметров Выполнить тесты проверки (Run Validation Tests).
В обозревателе артефактов откройте программу Simulink Design Verifier > certkitiec_sldv_run.mlx.
.mlx открывается в MATLAB. Для конфигурирования и выполнения процедуры тестирования и просмотра результатов выполните последовательность операций. Там, где это применимо, можно найти интерактивные ссылки, выполняющие команды.