Тесты являются шаблонами, которые можно изменить и расширить, чтобы создать тестовые наборы, которые покрывают требования, которые важны для приложения, определенной настройки инструмента и операционной среды. Вам могут быть нужны дополнительные тесты, на основе вашего использования инструмента, чтобы поддержать валидацию инструмента.
Существует два метода, которые можно использовать в выполнении процедуры тестирования:
Выполните Тесты от IEC Certification Kit matlabroot/Папка (для пользователей Polyspace®, которые не используют MATLAB®),
Эти лицензии требуются, чтобы выполнять процедуру тестирования IEC Certification Kit для Polyspace Bug Finder™:
IEC Certification Kit
MATLAB
Polyspace Bug Finder
Эти лицензии требуются, чтобы выполнять процедуру тестирования IEC Certification Kit для Polyspace Bug Finder Server™:
IEC Certification Kit
MATLAB
Polyspace Bug Finder Server
Чтобы использовать MATLAB, чтобы сконфигурировать, выполнитесь, и рассмотрите тесты валидации для Polyspace Bug Finder и Polyspace Bug Finder Server, смотрите, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Bug Finder и Polyspace Bug Finder Server. Этот артефакт обеспечивает:
Требования к программному обеспечению, чтобы выполнить процедуру тестирования
Шаги настройки
Как выполнить процедуру тестирования
Список сгенерированных протоколов испытаний и как рассмотреть результаты испытаний
Используйте один из этих методов, чтобы открыться, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Bug Finder и Сервера Средства поиска Ошибки:
В панели инструментов Simulink® откройте приложение IEC Certification Kit и выберите Polyspace Bug Finder из опций Run Validation Tests.
В Менеджере артефактов откройте Polyspace Bug Finder> certkitiec_bugfinder_run.mlx.
В matlabroot/toolbox/qualkits/iec/bugfinder/, открытый certkitiec_bugfinder_run.mlx.
.mlx файл открывается в MATLAB. Следуйте за рабочим процессом, чтобы сконфигурировать и выполнить процедуру тестирования и рассмотреть результаты. Где применимо, вы находите интерактивные ссылки, которые выполняют команды. Например, чтобы выполнить процедуру тестирования .bat файл, выберите ссылку (Click here to execute the command). Скрипт выполняет команду и запускает тесты.
matlabroot/ Папка
Эти шаги для пользователей Polyspace, которые не используют MATLAB, чтобы выполнить тесты IEC Certification Kit для Polyspace Bug Finder или Polyspace Bug Finder Server. Шаги эквивалентны в, Выполняют Тесты Валидации и Результаты испытаний Анализа для Polyspace Bug Finder и Polyspace Bug Finder Server, однако, интерактивные команды MATLAB удалены.
Настройте Тесты
Прежде, чем выполнить процедуру тестирования, скопируйте matlabroot/toolbox/qualkits/iec/bugfinder/ папка и sub папки к местоположению, где у вас есть доступ для записи. Вы выполняете тесты от этого местоположения.
Управление файлом лицензии
Обозначенные компьютерные лицензии (DC)
Прежде, чем выполнить процедуру тестирования, вы должно скопировать лицензию MATLAB на папку лицензии Polyspace, не стирая лицензию Polyspace.
Для Polyspace Bug Finder, копия <MATLAB install folder>\licenses\*.lic next to <Polyspace install folder>\licenses\
Для Polyspace Bug Finder Server, копия <MATLAB install folder>\licenses\*.lic next to <Polyspace Server install folder>\licenses\
Параллельная лицензия
Лицензия MATLAB и лицензии Polyspace управляемы через сервер FLEXlm®.
Выполните тесты
Выполнить тесты:
Превратитесь в matlabroot/toolbox/qualkits/iec/bugfinder/tests папка.
Выполните тесты с помощью шагов в платформе:
Windows® ─ в DOS командное окно, измените папку в текущее местоположение и выполните специфичную для продукта команду:
Для Polyspace Bug Finder введите certkitiec_bugfinder_tests.bat
Для Polyspace Bug Finder Server введите certkitiec_bugfinderserver_tests.bat
Если системная переменная PATH не включает Polyspace Bug Finder или исполнимую папку Polyspace Bug Finder Server, ошибка polyspace-<product> not found или perl.exe is not recognized as an internal or external command может произойти. В этом случае откройте certkitiec_<product>_tests.bat файл и обновление путь к исполняемой папке для Продукта polyspace вы квалифицируете при помощи POLYSPACE_C переменная окружения. Сохраните файл.
Исполнимые директории Polyspace по умолчанию:
C:\Program Files\<Polyspace_Bug_Finder_root>\
C:\Program Files\<Polyspace_Bug_Finder_Server_root>\
Например, установите POLYSPACE_C=C:\Program Files\Polyspace\2019a\polyspace\bin).
Linux® ─ в UNIX командное окно, директория изменения к текущему местоположению и выполняют специфичную для продукта команду:
Для Polyspace Bug Finder введите certkitiec_bugfinder_tests.sh
Для Polyspace Bug Finder Server введите certkitiec_bugfinderserver_tests.sh
Если системная переменная PATH не включает Polyspace Bug Finder, Polyspace Bug Finder Server или исполнимую папку Perl, ошибка polyspace-<product> not found или perl: Command not found может произойти. В этом случае обновите системную переменную PATH включать исполняемые папки Perl и Продукта polyspace, который вы квалифицируете. Сохраните файл.
Исполнимые папки Polyspace по умолчанию:
/usr/local/<Polyspace_Bug_Finder_root>/
/usr/local/<Polyspace_Bug_Finder_Server_root>/
Например, выполните команду setenv PATH ${PATH}:"/usr/local/Polyspace/2019a/polyspace/bin".
Следуйте инструкциям в командной строке, чтобы выполнить определенную группу тестов или всех тестов.
Не изменяйте тестовые скрипты, чтобы изменить целевые компиляторы или целевые процессоры. Процедура тестирования автоматически сконфигурирует и выполнит тесты для всех поддерживаемых компиляторов и целевых процессоров.
Рассмотрите результаты испытаний (все кроме генератора отчетов)
Выполнение процедуры тестирования генерирует эти отчеты, который идентифицирует PASSED/FAILED закончитесь для каждого теста. Эти отчеты хранятся в /bugfinder/outputs.
Итоговые отчеты валидации для Polyspace Bug Finder включают в себя:
certkitiec_bugfinder_qualificationreport_checks.txt, который обеспечивает результаты для тестов в тестовом наборе дефектов кода.
certkitiec_bugfinder_qualificationreport_code_metrics.txt, который обеспечивает результаты для тестов в метрическом тестовом наборе кода.
certkitiec_bugfinder_qualificationreport_certc_2016.txt, который обеспечивает результаты для тестов в CERT тестовый набор C:2016.
certkitiec_bugfinder_qualificationreport_misrac_2004.txt, который обеспечивает результаты для тестов в MISRA C:2004, кодирующем тестовый набор стандартов.
certkitiec_bugfinder_qualificationreport_misrac_2012.txt, который обеспечивает результаты для тестов в MISRA C:2012 (Поправка 1: 2016) кодирование тестового набора стандартов.
certkitiec_bugfinder_qualificationreport_misracpp_2008.txt, который обеспечивает результаты для тестов на C++ MISRA, кодирующем тестовый набор стандартов.
certkitiec_bugfinder_qualificationreport_options_api.txt, который обеспечивает результаты для тестов в тестовом наборе опций API.
certkitiec_bugfinder_qualificationreport_programming_-languages.txt, который обеспечивает результаты для тестов в тестовом наборе языков программирования.
certkitiec_bugfinder_qualificationreport_reporting.txt, который обеспечивает результаты для тестов в тестовом наборе интерфейсов инструмента.
Итоговые отчеты валидации для Polyspace Bug Finder Server включают в себя:
certkitiec_bugfinder_server_qualificationreport_checks.txt, который обеспечивает результаты для тестов в тестовом наборе дефектов кода.
certkitiec_bugfinder_server_qualificationreport_code_metrics.txt, который обеспечивает результаты для тестов в метрическом тестовом наборе кода.
certkitiec_bugfinder_server_qualificationreport_certc_2016.txt, который обеспечивает результаты для тестов в CERT тестовый набор C:2016.
certkitiec_bugfinder_server_qualificationreport_misrac_2004.txt, который обеспечивает результаты для тестов в MISRA C:2004, кодирующем тестовый набор стандартов.
certkitiec_bugfinder_server_qualificationreport_misrac_2012.txt, который обеспечивает результаты для тестов в MISRA C:2012 (Поправка 1: 2016) кодирование тестового набора стандартов.
certkitiec_bugfinder_server_qualificationreport_misracpp_2008.txt, который обеспечивает результаты для тестов на C++ MISRA, кодирующем тестовый набор стандартов.
certkitiec_bugfinder_server_qualificationreport_options_api.txt, который обеспечивает результаты для тестов в тестовом наборе опций API.
certkitiec_bugfinder_server_qualificationreport_programming_-languages.txt, который обеспечивает результаты для тестов в тестовом наборе языков программирования.
certkitiec-bugfinder_server-qualificationreport-reporting.txt, который обеспечивает результаты для тестов в тестовом наборе интерфейсов инструмента.
Рассмотреть результаты испытаний:
Подтвердите, что протоколы испытаний сгенерированы без ошибок или предупреждений.
Рассмотрите итоговые отчеты валидации и подтвердите, что результаты испытаний имеют PASSED состояние. Когда фактические результаты совпадают с ожидаемыми результатами, передачей тестов.
Для любых тестов с FAILED состояние, вручную рассмотрите результаты испытаний, соответствующие не пройдено тестам.
Получите ожидаемые результаты из REF раздел файла исходного кода сопоставлен с тестом (т.е. <IEC Bug Finder Test Folder>/tests/<test suite>/*.c).
Проверьте, что ожидаемые результаты совпадают с фактическим результатом, обеспеченным в любом из этих файлов:
Для Polyspace Bug Finder:
<IEC Bug Finder Test Folder>/tests/execution-folder-bug-finder/<test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/execution-folder-bug-finder/<test suite>/<test case>/Polyspace-Doc/Results_list.txt
Для Polyspace Bug Finder Server:
<IEC Bug Finder Test Folder>/tests/execution-folder-bug-finder-server/<test suite>/<test case>/Verification.log
<IEC Bug Finder Test Folder>/tests/execution-folder-bug-finder-server/<test suite>/<test case>/Polyspace-Doc/Results_list.txt
Если ожидаемые и фактические результаты не соответствуют, оцените удар несоответствия относительно действий жизненного цикла программного обеспечения, выполняемых при помощи инструмента. Для получения дополнительной информации свяжитесь с MathWorks.
То, когда язык на вашем компьютере не является английским, автоматическим сравнением ожидаемых результатов против фактических результатов, может перестать работать, потому что ожидаемые результаты, которые сгенерированы MathWorks, находятся на английском языке, и ваши фактические результаты находятся на языке, заданном локально на вашем компьютере. Если это происходит, необходимо вручную рассмотреть результаты.
Сконфигурируйте содержимое matlabroot/toolbox/qualkits/iec/bugfinder в системе управления конфигурацией.
Рассмотрите результаты испытаний генератора отчетов
Метод для рассмотрения результатов испытаний Генератора отчетов отличается в зависимости от формата отчетов.
Когда форматом является .html, автоматическое сравнение отчетов поддерживается. Рассмотрите PASSED/FAILED закончитесь для каждого теста, как представлено в итоговом отчете валидации. Эти отчеты хранятся в /bugfinder/outputs:
Для Polyspace Bug Finder файлом является certkitiec-bug-finder-qualificationreport-reporting.txt.
Для Polyspace Bug Finder Server файлом является certkitiec-bug-finder-server-qualificationreport-reporting.txt.
Когда форматом является .pdf и .docx, автоматизированное сравнение отчетов НЕ поддержано. Необходимо вручную сравнить фактические результаты с ожидаемыми результатами. К PASS, содержимое фактического и ожидаемых результатов должно быть равным.
Для Polyspace Bug Finder:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/execution-folder-bug-finder/reporting-bug-finder/<test>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder/<test>/*.docx или *.pdf
Для Polyspace Bug Finder Server:
Фактические результаты: <IEC Bug Finder Test Folder>/tests/execution-folder-bug-finder-server/reporting-bug-finder-server/<test>/Polyspace-Doc/*.docx или *.pdf
Ожидаемые результаты: <IEC Bug Finder Test Folder>/expected_results/reporting-bug-finder-server/<test>/*.docx или *.pdf
При сравнении отчетов специфичное для среды содержимое (таких как метки времени или тестовое время длительности) может отличаться между фактическим и ожидаемыми результатами.