Окно Оценка модели (Model Evaluation) предназначено для оценки соответствия модели. Можно проанализировать данные соответствия, данные проверки, другие данные или без ссылки на какие-либо данные. В окне отображаются некоторые из тех же видов, что и в разделе Графики и статистика для сравнения моделей. Доступные ракурсы зависят от типа анализируемой модели и выбранного режима анализа.
Доступ к окну Оценка модели (Model Evaluation) можно получить через пункты меню Модель (Model) > Вычислить (Evaluate) из любого узла моделирования: одноступенчатого или двухэтапного узла модели, узла локальной модели, узлов элементов ответа или любых дочерних узлов модели. Данные проверки можно использовать с любой моделью, кроме функций ответа.
Окно Выбор модели (Model Selection) позволяет сравнивать различные модели друг с другом и с данными, используемыми для создания этих моделей. Окно Оценка модели (Model Evaluation) также позволяет либо исследовать модель без данных, либо проверить ее на соответствие данным, отличным от тех, которые использовались при создании модели. Для любого узла модели оценка модели - это быстрый способ проверки модели в большем количестве, чем те, которые доступны в основных видах браузера. Например, локальные модели с несколькими входными коэффициентами могут быть просмотрены только в режиме просмотра «Предсказано/замечено» в главном браузере, а в окне «Выбор модели» (Model Selection) отображается только двухэтапная модель, поэтому можно перейти к разделу Оценка модели (Model Evaluation), чтобы просмотреть саму локальную модель более подробно. Для других моделей, таких как бездетные узлы элементов ответа или их дочерние узлы, окно Выбор модели (Model Selection) недоступно, поэтому для подробного просмотра этих моделей используется команда Оценка модели (Model Evaluation).
Существует четыре режима оценки, определяемые выбором из подменю Модель (Model) > Вычислить (Evaluate):
Вписать данные (Fit data) (или горячая клавиша Ctrl + E) - появляется окно оценки, и данные, показанные вместе с поверхностью модели, являются данными, которые использовались для создания этой модели. Сводная статистика отображается в списке моделей. Доступные виды:
Остатки
Поверхность ответа
Поперечное сечение
Испытания - только двухступенчатые модели
Прогнозируемые/наблюдаемые - только одноступенчатая функция или функция ответа
Данные проверки - появится окно оценки (под названием Проверка модели). Модель можно сравнить с данными проверки. Эта опция доступна только в том случае, если данные проверки присоединены к плану тестирования. См. раздел Использование данных проверки. Данные проверки можно использовать только с двухэтапными (отклик), локальными и одноэтапными моделями (а не с функциями откликов). Доступные виды:
Остатки
Поверхность ответа
Поперечное сечение
Испытания - только двухступенчатые модели. Локальная посадка не показана, поскольку локальная модель была адаптирована к различным данным.
Проверка RMSE появляется в списке моделей для сравнения с подгонкой RMSE.
Нет данных (No data) - окно оценки отображается только с видом поверхности модели и видом поперечного сечения. Они не показывают соответствия модели данным. Можно исследовать форму поверхности модели.
Другие данные - открывает мастер Выбрать данные для оценки (Select Data for Evaluation), в котором можно выбрать данные, отображаемые вместе с видами модели. Шаги аналогичны выбору данных проверки для плана тестирования. Выберите набор данных, при необходимости сопоставьте сигналы (только если имена сигналов не совпадают) и выберите тесты, которые хотите использовать (по умолчанию включают все тесты). См. раздел Использование данных проверки. При нажатии кнопки Готово появляется окно оценки с теми же представлениями, что и для данных проверки.
Дополнительные сведения о каждом виде см. в разделе Графики и статистика для сравнения моделей.
Эта статистика помогает выбрать модель, которая делает разумные прогнозы в точках данных и областях между точками данных. Чтобы проверить модель, соберите дополнительные данные проверки. Затем используйте модель для измерения того, насколько хорошо модель прогнозирует эти данные проверки. Сравнение RMSE проверки с RMSE на основе данных моделирования является хорошей статистикой выбора модели. Окно Оценка модели (Model Evaluation) используется для проверки моделей на соответствие другим данным. Данные проверки можно использовать во всем плане тестирования.
Прикрепите данные проверки к плану тестирования, а затем используйте их для проверки моделей. RMSE проверки появляется в таблицах статистики, можно просматривать графики остатков проверки и можно открыть окно Оценка модели (Model Evaluation), чтобы исследовать модели с данными проверки.
Чтобы присоединить набор данных к плану тестирования для проверки, выполните следующие действия.
На уровне плана тестирования выберите Test Plan > Validation Data. Появится мастер выбора данных для проверки.
Выберите набор данных и нажмите кнопку Далее.
Если входные коэффициенты и ответы, необходимые для оценки модели, не появляются в выбранном наборе данных, следующий экран позволяет сопоставить имена сигналов в выбранном наборе данных с именами в модели. Если имена сигналов совпадают, появится экран выбора тестов.
Выберите тесты из этого набора данных для использования. По умолчанию выбраны все тесты. Для текущего выбранного теста справа отображаются средние значения всех переменных в этом наборе данных.
Нажмите кнопку Готово (Finish), чтобы использовать выбранные тесты для проверки моделей в этом плане тестирования.
Набор данных проверки появится на информационной панели набора данных для плана тестирования. Проверка RMSE автоматически добавляется к сводной статистике для сравнения в представлении нижнего списка моделей ответа в плане тестирования.
Теперь можно использовать данные проверки для проверки всех моделей, кроме функций ответа. Статистику проверки можно просмотреть в следующих местах:
Список моделей - Validation RMSE появляется в сводной статистике в нижнем списке моделей на тестовом плане, ответном и одноступенчатом узлах
В представлении локального узла:
Объединенная статистика - Validation RMSE - Среднеквадратичная ошибка между двухэтапной моделью и данными проверки для всех тестов
Статистика диагностики > Локальная диагностика - локальная модель Validation RMSE для текущего выбранного теста (если данные проверки доступны для текущего теста - глобальные переменные должны совпадать)
Статистика диагностики > Сводная таблица - Validation RMSE для текущего теста (если доступно) появляется для локальных нескольких моделей
Сводная таблица - Validation RMSE для одноступенчатых моделей
Графики проверки можно просматривать в следующих местах:
Графики Validation residuals - Для локальных и одноступенчатых моделей в браузере модели
В любом узле модели, кроме элементов ответа, можно выбрать Модель (Model) > Оценка (Evaluate) > Данные проверки (Validation Data), чтобы открыть окно Оценка модели (Model Evaluation) и исследовать модель с выбранными данными проверки.
Аналогичным образом можно использовать окно Оценка модели (Model Evaluation), чтобы исследовать модели с другими данными, используя пункт меню Модель (Model) > Оценка (Evaluate) > Другие данные (Other Data) в узле моделирования. Требуются те же шаги: выберите набор данных, при необходимости сопоставьте имена сигналов и выберите тесты для использования.