IEC Certification Kit обеспечивает специфичные для инструмента тесты и процедуры, которые можно использовать, чтобы подтвердить инструмент. Чтобы рассмотреть список этих продуктов, смотрите продукты, Поддержанные IEC Certification Kit.
В зависимости от интегрирования инструментов MathWorks® в вашем рабочем процессе встраиваемого приложения доверительный уровень инструмента может быть TCL2 или выше и потребовать квалификации инструмента (см. Пакет Квалификации инструмента Embedded Coder ISO 26262 и Рабочий процесс). Можно использовать тесты и процедуры, чтобы поддержать валидацию инструмента. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы подтвердить Embedded Coder®, Stateflow® и Simulink®.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Процедура для проверки Embedded Coder доступна в Выполнить Тестах Валидации и Результатах испытаний Анализа для артефакта Embedded Coder. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Примечание
MathWorks подтверждает Автомобильный Набор Валидации Кода (AVS) как начальный тестовый набор, используемый с Embedded Coder.
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Embedded Coder:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Embedded Coder из опций Run Validation Tests.
В Менеджере артефактов откройте Embedded Coder> certkitiec_ecoder_run.mlx.
Документ открывается в MATLAB®. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Процедура для проверки Simulink Check™ доступна в Выполнить Тестах Валидации и Результатах испытаний Анализа для артефакта Simulink Check. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Simulink Check:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Check из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Check> certkitiec_slchk_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
IEC Certification Kit для Simulink Check выполняет автоматизированное сравнение сгенерированных результатов (фактические отчеты) против ожидаемых результатов (базовые отчеты). Результаты этого сравнения обеспечивают обеспечение, что инструмент действует правильно в установленной среде. Для получения дополнительной информации о рассматривании результатов смотрите, Выполняют Тесты Валидации и Результаты испытаний Анализа для Simulink Check.
Для собственных проверок необходимо добавить сертификационные тесты, выполнить эти тесты и проверить, что результаты как ожидалось.
Добавить сертификационные тесты на собственные проверки:
Создайте новый пакет сертификации и скопируйте matlabroot/toolbox/qualkits/iec/slchk папка и sub папки к местоположению, где у вас есть доступ для записи. Для получения дополнительной информации смотрите, Создают Пакеты Сертификации в Менеджере артефактов.
Создайте набор тестовых моделей, чтобы осуществить возможность проверки и сохранить их в tests папка sub. Как минимум тестовые модели должны включать a:
Модель, которая передает собственную проверку
Модель, которая не передает проверку
Примечание
В зависимости от осциллографа собственной проверки дополнительные тестовые модели могут потребоваться, чтобы осуществлять комбинации возможностей проверки. Например, проверяйте Check safety-related diagnostic settings for Merge blocks (ID mathworks.iec61508.hisl_0303) требует, чтобы следующие три тестовых модели полностью протестировали значения, которые могут быть установлены для параметра конфигурации модели Detect multiple driving blocks executing at the same time step (MergeDetectMultiDrivingBlocksExec):
do178c_hisl_0303_pass_test.slx с набором параметров к error (проверяйте передачи),
do178c_hisl_0303_warn_test1.slx с набором параметров к warning (проверка не передает),
do178c_hisl_0303_warn_test2.slx с набором параметров к none (проверка не передает),
Добавьте информацию о трассируемости для собственных проверок к матричному документу трассировки certkitiec_slchk_trace.xls. На вкладке Trace Data добавьте строку для каждой собственной проверки и включайте информацию как предусмотрено для других проверок. Используйте запятые, чтобы разделить несколько элементов, таких как тестовые модели или ожидаемые результаты. Для получения информации о добавлении комментариев к матрице трассируемости смотрите, Добавляют Комментарии к Матрице Трассируемости.
Выполните сертификационные тесты с помощью обновленных артефактов. Рассмотрите сгенерированные результаты, чтобы гарантировать, что они как ожидалось и включают добавленные собственные проверки.
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Процедура для проверки Simulink Coverage™ доступна в этих артефактах:
Выполните тесты валидации и рассмотрите результаты испытаний для Simulink Coverage - покрытие модели (certkitiec_slcov_mc_run.mlx)
Выполните тесты валидации и рассмотрите результаты испытаний для Simulink Coverage - покрытие кода (certkitiec_slcov_cc_run.mlx)
Они артефакт обеспечивают:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыть артефакты процедуры тестирования:
В панели инструментов Simulink откройте приложение IEC Certification Kit и, из опций Run Validation Tests, выберите также:
Simulink Model Coverage для тестов покрытия модели
Simulink Code Coverage для тестов покрытия кода
В Менеджере артефактов откройте папку Simulink Coverage и выберите также:
certkitiec_slcov_mc_run.mlx для тестов покрытия модели
certkitiec_slcov_cc_run.mlx для тестов покрытия кода
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
IEC Certification Kit для Simulink Coverage выполняет автоматизированное сравнение сгенерированных результатов (фактические отчеты) против ожидаемых результатов (базовые отчеты). Результаты этого сравнения обеспечивают обеспечение, что инструмент действует правильно в установленной среде. Для получения дополнительной информации о рассматривании результатов см.:
Выполните тесты валидации и рассмотрите результаты испытаний для Simulink Coverage - покрытие модели (certkitiec_slcov_mc_run.mlx)
Выполните тесты валидации и рассмотрите результаты испытаний для Simulink Coverage - покрытие кода (certkitiec_slcov_cc_run.mlx)
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Процедура для проверки Simulink Requirements™ доступна в Выполнить Тестах Валидации и Результатах испытаний Анализа для артефакта Simulink Requirements. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Simulink Requirements:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Requirements из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Requirements> certkitiec_slreq_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Существует два метода, которые можно использовать для выполнения процедуры тестирования:
Выполните Тесты от IEC Certification Kit matlabroot/Папка (для пользователей Polyspace®, которые не используют MATLAB),
Эти лицензии требуются, чтобы выполнять процедуру тестирования IEC Certification Kit для Polyspace Bug Finder™:
IEC Certification Kit
MATLAB
Polyspace Bug Finder
Эти лицензии требуются, чтобы выполнять процедуру тестирования IEC Certification Kit для Polyspace Bug Finder Server™:
IEC Certification Kit
MATLAB
Polyspace Bug Finder Server
Чтобы использовать MATLAB, чтобы сконфигурировать, выполнитесь, и рассмотрите тесты валидации для Polyspace Bug Finder и Polyspace Bug Finder Server, смотрите, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Bug Finder и Polyspace Bug Finder Server. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Сервера Bug Finder и Polyspace Bug Finder:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Polyspace Bug Finder из опций Run Validation Tests.
В Менеджере артефактов откройте Polyspace Bug Finder> certkitiec_bugfinder_run.mlx.
В matlabroot/toolbox/qualkits/iec/bugfinder/, открытый certkitiec_bugfinder_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
matlabroot/ Папка
Примечание
Эти шаги для пользователей Polyspace, которые не используют MATLAB, чтобы выполнить тесты IEC Certification Kit для Polyspace Bug Finder или Polyspace Bug Finder Server. Шаги эквивалентны в, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Bug Finder и Polyspace Bug Finder Server, однако, интерактивные команды MATLAB удалены.
Настройте Тесты
Прежде, чем выполнить процедуру тестирования, скопируйте matlabroot/toolbox/qualkits/iec/bugfinder/ папка и sub папки к местоположению, где у вас есть доступ для записи. Вы выполняете тесты от этого местоположения.
Примечание
Длина пути к файлу ограничивается 259 символами. Примите это во внимание при выполнении тестов; следующая ошибка происходит, когда общая длина пути к файлу для результатов превышает максимальный символьный предел. Path name <filepath> must not exceed 259 characters. Use a shorter results folder or source file name and try again. Exiting
Управление файлом лицензии
Обозначенные компьютерные лицензии (DC)
Прежде, чем выполнить процедуру тестирования, вы должно скопировать лицензию MATLAB на папку лицензии Polyspace, не стирая лицензию Polyspace.
Для Polyspace Bug Finder, копия <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для Polyspace Bug Finder Server, копия <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Лицензия MATLAB и лицензии Polyspace управляемы через сервер FLEXlm®.
Выполните тесты
Выполнить тесты:
Превратитесь в matlabroot/toolbox/qualkits/iec/bugfinder/tests папка.
Выполните тесты с помощью шагов для платформы:
Windows® ─ в DOS командное окно, измените папку в текущее местоположение и выполните специфичную для продукта команду:
Для Polyspace Bug Finder введите certkitiec_bugfinder_tests.bat
Для Polyspace Bug Finder Server введите certkitiec_bugfinderserver_tests.bat
Примечание
Если системная переменная PATH не включает Polyspace Bug Finder или исполнимую папку Polyspace Bug Finder Server, ошибка polyspace-<product> not found или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat файл и обновление путь к исполняемой папке для Продукта polyspace вы квалифицируете при помощи POLYSPACE_C переменная окружения. Сохраните файл.
Исполнимые директории Polyspace по умолчанию:
C:\Program Files\<Polyspace_Bug_Finder_root>\
C:\Program Files\<Polyspace_Bug_Finder_Server_root>\
Например, установите POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux® и macOS ─ В UNIX командное окно, директория изменения к текущему местоположению и выполняют специфичную для продукта команду:
Для Polyspace Bug Finder введите certkitiec_bugfinder_tests.sh
Для Polyspace Bug Finder Server введите certkitiec_bugfinderserver_tests.sh
Примечание
Если системная переменная PATH не включает Polyspace Bug Finder, Polyspace Bug Finder Server или исполнимую папку Perl, ошибка polyspace-<product> not found или perl: Command not found может произойти. В этом случае обновите системную переменную PATH включать исполняемые папки Perl и Продукта polyspace, который вы квалифицируете. Сохраните файл.
Исполнимые папки Polyspace по умолчанию:
/usr/local/<Polyspace_Bug_Finder_root>/
/usr/local/<Polyspace_Bug_Finder_Server_root>/
Например, выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке, чтобы выполнить определенную группу тестов или всех тестов.
Примечание
Не изменяйте тестовые скрипты, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически сконфигурирует и выполнит тесты для всех поддерживаемых компиляторов и целевых процессоров.
Рассмотрите результаты испытаний (все кроме генератора отчетов)
Выполнение процедуры тестирования генерирует эти отчеты, который идентифицирует PASSED/FAILED закончитесь для каждого теста. Эти отчеты хранятся в /bugfinder/outputs.
Итоговые отчеты валидации для Polyspace Bug Finder включают в себя:
certkitiec-bugfinder-qualificationreport-checks.txt, который обеспечивает результаты для тестов в тестовом наборе дефектов кода.
certkitiec-bugfinder-qualificationreport-code-metrics.txt, который обеспечивает результаты для тестов в метрическом тестовом наборе кода.
certkitiec-bugfinder-qualificationreport-certc-2016.txt, который обеспечивает результаты для тестов в CERT C:2016, кодирующий тестовый набор стандартов.
certkitiec-bugfinder-qualificationreport-misrac-2004.txt, который обеспечивает результаты для тестов в MISRA C:2004, кодирующем тестовый набор стандартов.
certkitiec-bugfinder-qualificationreport-misrac-2012.txt, который обеспечивает результаты для тестов в MISRA C:2012 (Поправка 1: 2016) кодирование тестового набора стандартов.
certkitiec-bugfinder-qualificationreport-misracpp-2008.txt, который обеспечивает результаты для тестов на C++ MISRA, кодирующем тестовый набор стандартов.
certkitiec-bugfinder-qualificationreport-options-api.txt, который обеспечивает результаты для тестов в тестовом наборе опций API.
certkitiec-bugfinder-qualificationreport-programming-languages.txt, который обеспечивает результаты для тестов в тестовом наборе языков программирования.
certkitiec-bugfinder-qualificationreport-reporting.txt, который обеспечивает результаты для тестов в тестовом наборе интерфейсов инструмента.
certkitiec-bugfinder-qualificationreport-guidelines.txt, который обеспечивает результаты для тестов в тестовом наборе Инструкций.
Итоговые отчеты валидации для Polyspace Bug Finder Server включают в себя:
certkitiec-bugfinder-server-qualificationreport-checks.txt, который обеспечивает результаты для тестов в тестовом наборе дефектов кода.
certkitiec-bugfinder-server-qualificationreport-code-metrics.txt, который обеспечивает результаты для тестов в метрическом тестовом наборе кода.
certkitiec-bugfinder-server-qualificationreport-certc-2016.txt, который обеспечивает результаты для тестов в CERT C:2016, кодирующий тестовый набор стандартов.
certkitiec-bugfinder-server-qualificationreport-misrac-2004.txt, который обеспечивает результаты для тестов в MISRA C:2004, кодирующем тестовый набор стандартов.
certkitiec-bugfinder-server-qualificationreport-misrac-2012.txt, который обеспечивает результаты для тестов в MISRA C:2012 (Поправка 1: 2016) кодирование тестового набора стандартов.
certkitiec-bugfinder-server-qualificationreport-misracpp-2008.txt, который обеспечивает результаты для тестов на C++ MISRA, кодирующем тестовый набор стандартов.
certkitiec-bugfinder-server-qualificationreport-options-api.txt, который обеспечивает результаты для тестов в тестовом наборе опций API.
certkitiec-bugfinder-server-qualificationreport-programming-languages.txt, который обеспечивает результаты для тестов в тестовом наборе языков программирования.
certkitiec-bugfinder-server-qualificationreport-reporting.txt, который обеспечивает результаты для тестов в тестовом наборе интерфейсов инструмента.
certkitiec-bugfinder-server-qualificationreport-guidelines.txt, который обеспечивает результаты для тестов в тестовом наборе Инструкций.
Рассмотреть результаты испытаний:
Подтвердите, что протоколы испытаний сгенерированы без ошибок или предупреждений.
Рассмотрите итоговые отчеты валидации и подтвердите, что результаты испытаний имеют PASSED состояние. Когда фактические результаты совпадают с ожидаемыми результатами, передачей тестов.
Для любых тестов с FAILED состояние, вручную рассмотрите результаты испытаний, соответствующие не пройдено тестам.
Получите ожидаемые результаты из REF раздел файла исходного кода сопоставлен с тестом (т.е. <IEC Bug Finder Test Folder>/tests/<test suite>/*.c).
Проверьте, что ожидаемые результаты совпадают с фактическим результатом, обеспеченным в любом из этих файлов:
Для Polyspace Bug Finder:
<IEC Bug Finder Test Folder>/tests/bug-finder-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/bug-finder-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для Polyspace Bug Finder Server:
<IEC Bug Finder Test Folder>/tests/bug-finder-server-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/bug-finder-server-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не соответствуют, оцените удар несоответствия относительно действий жизненного цикла программного обеспечения, выполняемых при помощи инструмента. Для получения дополнительной информации свяжитесь с MathWorks.
Примечание
То, когда язык на вашем компьютере не является английским, автоматическим сравнением ожидаемых результатов против фактических результатов, может перестать работать, потому что ожидаемые результаты, которые сгенерированы MathWorks, находятся на английском языке, и ваши фактические результаты находятся на языке, заданном локально на вашем компьютере. Если это происходит, необходимо вручную рассмотреть результаты.
Сконфигурируйте содержимое matlabroot/toolbox/qualkits/iec/bugfinder в системе управления конфигурацией.
Рассмотрите результаты испытаний генератора отчетов
Метод для рассмотрения результатов испытаний Генератора отчетов отличается в зависимости от формата отчетов.
Когда форматом является .html, автоматическое сравнение отчетов поддерживается. Рассмотрите PASSED/FAILED закончитесь для каждого теста, как представлено в итоговом отчете валидации. Эти отчеты хранятся в /bugfinder/outputs:
Для Polyspace Bug Finder файлом является certkitiec-bug-finder-qualificationreport-reporting.txt.
Для Polyspace Bug Finder Server файлом является certkitiec-bug-finder-server-qualificationreport-reporting.txt.
Когда форматом является .pdf и .docx, автоматизированное сравнение отчетов не поддерживается. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. К PASS, содержимое фактического и ожидаемых результатов должно быть равным.
Для Polyspace Bug Finder:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/bug-finder-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder/<template test suite>/*.docx или *.pdf
Для Polyspace Bug Finder Server:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/bug-finder-server-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder-server/<template test suite>/*.docx или *.pdf
Примечание
При сравнении отчетов специфичное для среды содержимое (таких как метки времени или тестовое время длительности) может отличаться между фактическим и ожидаемыми результатами.
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Существует два метода, которые можно использовать для выполнения процедуры тестирования:
Выполните Тесты от IEC Certification Kit matlabroot/Папка (для пользователей Polyspace, которые не используют MATLAB),
Эти лицензии требуются, чтобы выполнять процедуру тестирования IEC Certification Kit для Polyspace Code Prover™:
IEC Certification Kit
MATLAB
Polyspace Code Prover
Polyspace Bug Finder
Эти лицензии требуются, чтобы выполнять процедуру тестирования IEC Certification Kit для Polyspace Code Prover Server:
IEC Certification Kit
MATLAB
Polyspace Code Prover Server
Polyspace Bug Finder Server
Чтобы использовать MATLAB, чтобы сконфигурировать, выполнитесь, и рассмотрите тесты валидации для Polyspace Code Prover и Polyspace Code Prover Server, смотрите, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Code Prover и Polyspace Code Prover Server. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Code Prover и Polyspace Code Prover Server:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Polyspace Code Prover из опций Run Validation Tests.
В Менеджере артефактов откройте Polyspace Code Prover> certkitiec_codeprover_run.mlx.
В matlabroot/toolbox/qualkits/iec/codeprover/, открытый certkitiec_codeprover_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
matlabroot/ Папка
Примечание
Эти шаги для пользователей Polyspace, которые не используют MATLAB, чтобы выполнить тест IEC Certification Kit для Polyspace Code Prover и Polyspace Code Prover Server. Шаги эквивалентны в, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Code Prover и Polyspace Code Prover Server, однако, интерактивные команды MATLAB удалены.
Настройте Тесты
Прежде, чем выполнить процедуру тестирования, скопируйте matlabroot/toolbox/qualkits/iec/codeprover/ папка и sub папки к местоположению, где у вас есть доступ для записи. Вы выполняете тесты от этого местоположения.
Примечание
Длина пути к файлу ограничивается 259 символами. Примите это во внимание при выполнении тестов; следующая ошибка происходит, когда общая длина пути к файлу для результатов превышает максимальный символьный предел. Path name <filepath> must not exceed 259 characters. Use a shorter results folder or source file name and try again. Exiting
Управление файлом лицензии
Обозначенные компьютерные лицензии (DC)
Прежде, чем выполнить процедуру тестирования, вы должно скопировать лицензию MATLAB на папку лицензии Polyspace, не стирая лицензию Polyspace.
Для Polyspace Code Prover, копия <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для Polyspace Code Prover Server, копия <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Лицензия MATLAB и лицензии Polyspace управляемы через сервер FLEXlm.
Выполните тесты
Выполнить тесты:
Превратитесь в matlabroot/toolbox/qualkits/iec/codeprover/tests папка.
Выполните тесты с помощью шагов для платформы:
Windows ─ В окне команды DOS, измените директорию в текущее местоположение и выполните специфичную для продукта команду:
Для Polyspace Code Prover введите certkitiec_codeprover_tests.bat
Для Polyspace Code Prover Server введите certkitiec_codeproverserver_tests.bat
Примечание
Если системная переменная PATH не включает Polyspace Code Prover или исполнимую папку Polyspace Code Prover Server, ошибка polyspace-<product> not found или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat и обновите путь к исполняемой папке для Продукта polyspace, который вы квалифицируете при помощи POLYSPACE_C переменная окружения. Сохраните файл.
Исполнимые папки Polyspace по умолчанию:
C:\Program Files\<Polyspace_Code_Prover_root>\
C:\Program Files\<Polyspace_Code_Prover_Server_root>\
Например, установите POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux и macOS ─ В командном окне UNIX, измените директорию в текущее местоположение и выполните специфичную для продукта команду:
Для Polyspace Code Prover введите certkitiec_codeprover_tests.sh
Для Polyspace Code Prover Server введите certkitiec_codeproverserver_tests.sh
Примечание
Если системная переменная PATH не включает Polyspace Code Prover, Polyspace Code Prover Server или исполнимую директорию Perl, ошибка polyspace-<product> not found или perl: Command not found может произойти. В этом случае обновите системную переменную PATH включать исполняемые директории Perl и Продукта polyspace, который вы квалифицируете. Сохраните файл.
Исполнимые директории Polyspace по умолчанию:
/usr/local/<Polyspace_Code_Prover_root>/
/usr/local/<Polyspace_Code_Prover_Server_root>/
Например, выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке, чтобы выполнить определенную группу тестов или всех тестов.
Примечание
Не изменяйте тестовые скрипты, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически сконфигурирует и выполнит тесты для всех поддерживаемых компиляторов и целевых процессоров.
Рассмотрите результаты испытаний (все кроме генератора отчетов)
Выполнение процедуры тестирования генерирует эти отчеты, который идентифицирует PASSED/FAILED закончитесь для каждого теста. Эти отчеты хранятся в /codeprover/outputs.
Итоговые отчеты валидации для Polyspace Code Prover включают в себя:
certkitiec-codeprover-qualificationreport-checks.txt, который обеспечивает результаты для тестов в тестовом наборе дефектов кода.
certkitiec-codeprover-qualificationreport-code-metrics.txt, который обеспечивает результаты для тестов в метрическом тестовом наборе кода.
certkitiec-codeprover-qualificationreport-misrac-2004.txt, который обеспечивает результаты для тестов в MISRA C:2004, кодирующем тестовый набор стандартов.
certkitiec-codeprover-qualificationreport-misrac-2012.txt, который обеспечивает результаты для тестов в MISRA C:2012 (Поправка 1: 2016) кодирование тестового набора стандартов.
certkitiec-codeprover-qualificationreport-misracpp-2008.txt, который обеспечивает результаты для тестов на C++ MISRA: 2 008 тестовых наборов стандартов кодирования.
certkitiec-codeprover-qualificationreport-options-api.txt, который обеспечивает результаты для тестов в тестовом наборе опций API.
certkitiec-codeprover-qualificationreport-programming-languages.txt, который обеспечивает результаты для тестов в тестовом наборе языков программирования.
certkitiec-codeprover-qualificationreport-reporting.txt, который обеспечивает результаты для тестов в тестовом наборе интерфейсов инструмента.
Итоговые отчеты валидации для Polyspace Code Prover Server включают в себя:
certkitiec-codeprover-server-qualificationreport-checks.txt, который обеспечивает результаты для тестов в тестовом наборе дефектов кода.
certkitiec-codeprover-server-qualificationreport-code-metrics.txt, который обеспечивает результаты для тестов в метрическом тестовом наборе кода.
certkitiec-codeprover-server-qualificationreport-misrac-2004.txt, который обеспечивает результаты для тестов в MISRA C:2004, кодирующем тестовый набор стандартов.
certkitiec-codeprover-server-qualificationreport-misrac-2012.txt, который обеспечивает результаты для тестов в MISRA C:2012 (Поправка 1: 2016) кодирование тестового набора стандартов.
certkitiec-codeprover-server-qualificationreport-misracpp-2008.txt, который обеспечивает результаты для тестов на C++ MISRA: 2 008 тестовых наборов стандартов кодирования.
certkitiec-codeprover-server-qualificationreport-options-api.txt, который обеспечивает результаты для тестов в тестовом наборе опций API.
certkitiec-codeprover-server-qualificationreport-programming-languages.txt, который обеспечивает результаты для тестов в тестовом наборе языков программирования.
certkitiec-codeprover-server-qualificationreport-reporting.txt, который обеспечивает результаты для тестов в тестовом наборе интерфейсов инструмента.
Рассмотреть результаты испытаний:
Подтвердите, что протоколы испытаний сгенерированы без ошибок или предупреждений.
Рассмотрите итоговые отчеты валидации и подтвердите, что результаты испытаний имеют PASSED состояние. Когда фактические результаты совпадают с ожидаемыми результатами, передачей тестов.
Для любых тестов с FAILED состояние, вручную рассмотрите результаты испытаний, соответствующие не пройдено тестам.
Получите ожидаемые результаты из REF раздел файла исходного кода сопоставлен с тестом (т.е. <IEC Code Prover Test Folder>/tests/<test suite>/*.c).
Проверьте, что ожидаемые результаты совпадают с фактическим результатом, обеспеченным в любом из этих файлов:
Для Polyspace Code Prover:
<IEC Code Prover Test Folder>/tests/code-prover-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Code Prover Test Folder>/tests/code-prover-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для Polyspace Code Prover Server:
<IEC Code Prover Test Folder>/tests/code-prover-server-results/<test suite>/<sub-family test suite>/<test case>/Verification.log
<IEC Code Prover Test Folder>/tests/code-prover-server-results/<test suite>/<sub-family test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не соответствуют, оцените удар несоответствия относительно действий жизненного цикла программного обеспечения, выполняемых при помощи инструмента. Для получения дополнительной информации свяжитесь с MathWorks.
Примечание
То, когда язык на вашем компьютере не является английским, автоматическим сравнением ожидаемых результатов против фактических результатов, может перестать работать, потому что ожидаемые результаты, которые сгенерированы MathWorks, находятся на английском языке, и ваши фактические результаты находятся на языке, заданном локально на вашем компьютере. Если это происходит, необходимо вручную рассмотреть результаты.
Сконфигурируйте содержимое matlabroot/toolbox/qualkits/iec/codeprover в системе управления конфигурацией.
Рассмотрите результаты испытаний генератора отчетов
Метод для рассмотрения результатов испытаний Генератора отчетов отличается в зависимости от формата отчетов.
Когда форматом является .html, автоматическое сравнение отчетов поддерживается. Рассмотрите PASSED/FAILED закончитесь для каждого теста, как представлено в итоговом отчете валидации. Эти отчеты хранятся в /codeprover/outputs:
Для Polyspace Bug Finder файлом является certkitiec-code-prover-qualificationreport-reporting.txt.
Для Polyspace Bug Finder Server файлом является certkitiec-code-prover-server-qualificationreport-reporting.txt.
Когда форматом является .pdf и .docx, автоматизированное сравнение отчетов не поддерживается. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. К PASS, содержимое фактического и ожидаемых результатов должно быть равным.
Для Polyspace Code Prover:
Фактические результаты: <IEC Code Prover Test Folder>/tests/code-prover-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Code Prover Test Folder>/expected_results/reporting-code-prover/<template test suite>/*.docx или *.pdf
Для Polyspace Code Prover Server:
Фактические результаты: <IEC Code Prover Test Folder>/tests/ecode-prover-server-results/reporting/<template test suite>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Code Prover Test Folder>/expected_results/reporting-code-prover-server/<template test suite>/*.docx или *.pdf
Примечание
При сравнении отчетов специфичное для среды содержимое (таких как метки времени или тестовое время длительности) может отличаться между фактическим и ожидаемыми результатами.
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Процедура для проверки Simulink Test™ доступна в Выполнить Тестах Валидации и Результатах испытаний Анализа для артефакта Simulink Test. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Simulink Test:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Test из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Test> certkitiec_sltest_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.
IEC Certification Kit для Simulink Test выполняет автоматизированное сравнение сгенерированных результатов (фактические отчеты) против ожидаемых результатов (базовые отчеты). Результаты этого сравнения обеспечивают обеспечение, что инструмент действует правильно в установленной среде. Для получения дополнительной информации о рассматривании результатов смотрите, Выполняют Тесты Валидации и Результаты испытаний Анализа для Simulink Test (certkitiec_sltest_run.mlx).
Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Примечание
Изменение случаев существующего текста может привести к FAILED тесты. Рекомендуется, чтобы вы добавили или удалили тесты, чтобы удовлетворить вашим требованиям тестирования.
Процедура для проверки Simulink Design Verifier™ доступна в Выполнить Тестах Валидации и Результатах испытаний Анализа для артефакта Simulink Design Verifier. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Simulink Design Verifier:
В панели инструментов Simulink откройте приложение IEC Certification Kit и выберите Simulink Design Verifier из опций Run Validation Tests.
В Менеджере артефактов откройте Simulink Design Verifier> certkitiec_sldv_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды.