Динамически отфильтрованные тесты

Предполагаемые отказы дают отфильтрованные тесты. В matlab.unittest.TestResult класс, такой тест маркируется Incomplete.

Поскольку фильтрация тестового содержимого с использованием допущений не приводит к сбоям в тестировании, имеется возможность создания неработоспособного тестового кода. Для предотвращения этого требуется мониторинг отфильтрованных тестов.

Методы испытаний

Если в пределах TestCase с помощью Test атрибут, весь метод помечен как отфильтрованный, но MATLAB ® запускает последующийTest методы.

Следующий класс содержит ошибку предположения в одном из методов в Test блок.

classdef ExampleTest < matlab.unittest.TestCase
    methods(Test)
        function testA(testCase)
            testCase.verifyTrue(true)
        end
        function testB(testCase)
            testCase.assumeEqual(0,1)
            % remaining test code is not exercised
        end
        function testC(testCase)
            testCase.verifyFalse(true)
        end
    end
end

С момента testB метод содержит допущение, что при выполнении теста платформа тестирования фильтрует этот тест и помечает его как неполный. После ошибки предположения в testB, тестовый фреймворк продолжается и выполняется testC, который содержит сбой проверки.

ts = matlab.unittest.TestSuite.fromClass(?ExampleTest);
res = ts.run;

Running ExampleTest
.
================================================================================
ExampleTest/testB was filtered.
Details
================================================================================
.
================================================================================
Verification failed in ExampleTest/testC.

    ---------------------
    Framework Diagnostic:
    ---------------------
    verifyFalse failed.
    --> The value must evaluate to "false".
    
    Actual logical:
           1

    ------------------
    Stack Information:
    ------------------
    In C:\work\ExampleTest.m (ExampleTest.testC) at 11
================================================================================
.
Done ExampleTest
__________

Failure Summary:

     Name               Failed  Incomplete  Reason(s)
    ================================================================
     ExampleTest/testB              X       Filtered by assumption.
    ----------------------------------------------------------------
     ExampleTest/testC    X                 Failed by verification.

Если вы изучите TestResult, вы заметили, что есть пройденный тест, неудачный тест и тест, который не был завершен из-за ошибки предположения.

res

res = 

  1×3 TestResult array with properties:

    Name
    Passed
    Failed
    Incomplete
    Duration
    Details

Totals:
   1 Passed, 1 Failed, 1 Incomplete.
   2.4807 seconds testing time.

Структура тестирования отслеживает незавершенные тесты, чтобы можно было отслеживать отфильтрованные тесты на предмет невыполненного кода теста. Вы можете просмотреть информацию об этих тестах в TestResult объект.

res([res.Incomplete])

ans = 

  TestResult with properties:

          Name: 'ExampleTest/testB'
        Passed: 0
        Failed: 0
    Incomplete: 1
      Duration: 2.2578
       Details: [1×1 struct]

Totals:
   0 Passed, 0 Failed, 1 Incomplete.
   2.2578 seconds testing time.

Чтобы создать измененный набор тестов только из отфильтрованных тестов, выберите неполные тесты из исходного набора тестов.

tsFiltered = ts([res.Incomplete])

tsFiltered = 

  Test with properties:
                  Name: 'ExampleTest/testB'
         ProcedureName: 'testB'
             TestClass: "ExampleTest"
            BaseFolder: 'C:\work'
      Parameterization: [0×0 matlab.unittest.parameters.EmptyParameter]
    SharedTestFixtures: [0×0 matlab.unittest.fixtures.EmptyFixture]
                  Tags: {1×0 cell}

Tests Include:
   0 Parameterizations, 0 Shared Test Fixture Classes, 0 Tags.

Настройка метода и код теардауна

Если в пределах TestCase с помощью TestMethodSetup , MATLAB фильтрует метод, который должен был выполняться для этого экземпляра. Если в тесте используются допущения из TestMethodSetup блок, вместо этого рассмотрим использование допущений в TestClassSetup блок, который аналогичным образом фильтрует все Test методы в классе, но является менее подробным и более эффективным.

Один из следующих методов: TestMethodSetup блок в пределах ExampleTest.m содержит ошибку предположения.

    methods(TestMethodSetup)
        function setupMethod1(testCase)
            testCase.assumeEqual(1,0)
            % remaining test code is not exercised
        end
        function setupMethod2(testCase)
            disp('* Running setupMethod2 *')
            testCase.assertEqual(1,1)
        end
    end

Обновлено ExampleTest Определение класса

При выполнении теста видно, что платформа завершает выполнение всех методов в TestMethodSetup блок, который не содержит ошибки предположения, и помечает как неполные все методы в Test блок.

ts = matlab.unittest.TestSuite.fromClass(?ExampleTest);
res = ts.run;

Running ExampleTest

================================================================================
ExampleTest/testA was filtered.
    Details
================================================================================
* Running setupMethod2 *
.
================================================================================
ExampleTest/testB was filtered.
    Details
================================================================================
* Running setupMethod2 *
.
================================================================================
ExampleTest/testC was filtered.
    Details
================================================================================
* Running setupMethod2 *
.
Done ExampleTest
__________

Failure Summary:

     Name               Failed  Incomplete  Reason(s)
    ================================================================
     ExampleTest/testA              X       Filtered by assumption.
    ----------------------------------------------------------------
     ExampleTest/testB              X       Filtered by assumption.
    ----------------------------------------------------------------
     ExampleTest/testC              X       Filtered by assumption.

Test методы не изменились, но все 3 отфильтрованы из-за ошибки предположения в TestMethodSetup блок. Платформа тестирования выполняет методы в TestMethodSetup блок без ошибок допущения, например, setupMethod2. Как и ожидалось, выполняется платформа тестирования setupMethod2 3 раза, один раз перед каждым Test способ.

Настройка класса и код теардауна

Если в пределах TestCase с помощью TestClassSetup или TestClassTeardown атрибут, MATLAB фильтрует весь TestCase класс.

Методы, описанные ниже TestClassSetup блок в пределах ExampleTest.m содержит ошибку предположения.

    methods(TestClassSetup)
        function setupClass(testCase)
            testCase.assumeEqual(1,0)
            % remaining test code is not exercised
        end
    end

Обновлено ExampleTest Определение класса

При выполнении теста видно, что инфраструктура не выполняет ни один из методов в TestMethodSetup или Test.

ts = matlab.unittest.TestSuite.fromClass(?ExampleTest);
res = ts.run;

Running ExampleTest

================================================================================
All tests in ExampleTest were filtered.
    Details
================================================================================

Done ExampleTest
__________

Failure Summary:

     Name               Failed  Incomplete  Reason(s)
    ================================================================
     ExampleTest/testA              X       Filtered by assumption.
    ----------------------------------------------------------------
     ExampleTest/testB              X       Filtered by assumption.
    ----------------------------------------------------------------
     ExampleTest/testC              X       Filtered by assumption.

Test и TestMethodSetup методы не изменились, но все отфильтровано из-за ошибки предположения в TestClassSetup блок.

См. также

matlab.unittest.qualifications.Assumable | matlab.unittest.TestCase | matlab.unittest.TestResult

Документация