Окно оценки модели призвано помочь вам оценить подгонку вашей модели. Можно оценить по данным подгонки, данным валидации, другим данным или без ссылки на какие-либо данные. Окно отображает некоторые из тех же представлений, которые вы видите на графиках и статистике для сравнения моделей. Доступные представления зависят от того, какую модель вы оцениваете и какой режим оценки вы выбираете.
Вы можете получить доступ к окну Оценка модели (Model Evaluation) через элементы меню Model > Evaluate из любого из узлов моделирования: одноэтапного или двухэтапного узла модели, локального узла модели, узлов функций отклика или любых дочерних узлов модели. Можно использовать данные валидации с любой моделью, кроме функций отклика.
Окно Выбор модели (Model Selection) позволяет вам сравнивать различные модели друг с другом и с данными, используемыми для создания этих моделей. Окно Оценка модели (Model Evaluation) также позволяет вам или изучить модель без данных или проверить ее на основе данных, отличных от тех, которые используются при создании модели. Для любого узла модели оценка модели является быстрым способом изучить модель больше способов, чем доступно в основных представлениях Browser. Например, локальные модели с более чем одним входным фактором могут быть просмотрены только в представлении Predicted/Observed в главном браузере, и окно Model Selection показывает вам только двухэтапную модель, поэтому вы переходите к оценке модели, чтобы просмотреть саму локальную модель более подробно. Для других моделей, таких как узлы функций бездетного отклика или их дочерние узлы, окно Выбор модели (Model Selection) недоступно, поэтому Оценка модели (Model Evaluation) является способом детального просмотра этих моделей.
Существует четыре режима оценки, определяемых выбором из подменю Model > Evaluate:
Fit data (или Ctrl+E горячей клавиши) - появляется окно оценки, и данные, показанные вместе с поверхностью модели, являются данными, которые использовались для создания этой модели. Итоговая статистика показаны в списке моделей. Доступные представления
Невязки
Поверхность отклика
Поперечное сечение
Тесты - Только двухэтапные модели
Предсказано/наблюдалось - только одноэтапная или характеристика отклика
Validation data - Появится окно оценки (под названием Валидация). Можно сравнить модель с данными валидации. Эта опция доступна, только если вы прикрепили данные валидации к плану тестирования. См. Использование данных валидации. Можно использовать только данные валидации с двухэтапными (response), локальными и одноэтапными моделями (not response features). Доступные представления
Невязки
Поверхность отклика
Поперечное сечение
Тесты - только двухэтапные модели. Локальная подгонка не показана, так как локальная модель была подобрана к другим данным.
Валидация RMSE появляется в списке моделей для сравнения с Fit RMSE.
No data - окно оценки появляется только с видом поверхности модели и видом поперечного сечения. Они не показывают подгонку модели данным. Можно исследовать форму поверхности модели.
Other data - открывает мастер выбора данных для оценки, в котором можно выбрать данные, показанные вместе с представлениями модели. Шаги аналогичны выбору данных валидации для плана тестирования. Выберите набор данных, при необходимости совпадайте с сигналами (только если имена сигналов не совпадают) и выберите тесты, которые вы хотите использовать (по умолчанию включает все тесты). См. Использование данных валидации. При нажатии кнопки Finish окно оценки появляется с теми же представлениями, показанными для данных валидации.
Для получения дополнительной информации о каждом представлении смотрите Графики и Статистика для Сравнения моделей.
Эта статистика помогает вам выбрать модель, которая делает разумные предсказания в точках данных и областях между точками данных. Чтобы подтвердить свою модель, соберите дополнительные данные валидации. Затем используйте свою модель, чтобы измерить, насколько хорошо модель предсказывает эти данные валидации. Сравнение RMSE валидации с RMSE на основе данных моделирования является хорошей статистикой выбора модели. Используйте окно Оценка модели (Model Evaluation), чтобы проверить модели на соответствие другим данным. Можно использовать данные валидации на протяжении плана тестирования.
Приложите данные валидации к своему плану тестирования, а затем используйте их, чтобы подтвердить свои модели. Валидация RMSE появляется в таблицах статистики, можно просмотреть графики невязок валидации, и можно открыть окно Оценка модели (Model Evaluation), чтобы исследовать ваши модели с данными валидации.
Чтобы прикрепить набор данных к своему плану тестирования для валидации:
На уровне плана тестирования выберите TestPlan > Validation Data. Откроется мастер выбора данных для валидации.
Выберите набор данных и нажатия кнопки Next.
Если входные факторы и отклики, необходимые для оценки модели, не появляются в выбранном наборе данных, следующий экран позволяет вам сопоставить имена сигналов в выбранном наборе данных с именами в модели. Если имена сигналов совпадают, вы увидите экран, чтобы выбрать тесты.
Выберите тесты из этого набора данных для использования. По умолчанию все тесты выбраны. Для текущего выбранного теста средние тестовые значения всех переменных в этом наборе данных отображаются справа.
Нажмите Finish, чтобы использовать выбранные тесты для проверки моделей в этом плане тестирования.
Набор данных валидации появится на информационной панели набора данных для плана тестирования. Валидация RMSE автоматически добавляется к сводной статистике для сравнения в представлении нижнего списка моделей отклика в плане тестирования.
Теперь можно использовать данные валидации для проверки всех моделей, кроме функций отклика. Статистику валидации можно увидеть в следующих местах:
Список моделей - Validation RMSE появляется в сводной статистике в нижнем списке моделей на плане тестирования, ответных и одноэтапных узлах
В представлении локального узла:
Объединенная статистика - Validation RMSE - Корневая средняя квадратичная невязка между двухэтапной моделью и данными валидации для всех тестов
Диагностическая статистика > Локальная диагностика - Локальная модель Validation RMSE для текущего выбранного теста (если данные валидации доступны для текущего теста - глобальные переменные должны совпадать)
Диагностическая статистика > Сводная таблица - Validation RMSE для текущего теста (если он доступен) появляется для локальных нескольких моделей
Итоговая таблица - Validation RMSE для одноэтапных моделей
Можно просмотреть графики валидации в следующих местах:
Графики Validation residuals - Для локальных и одноэтапных моделей в Model Browser
Из любого узла модели, кроме функций отклика, можно выбрать Model > Evaluate > Validation Data, чтобы открыть окно Оценка модели (Model Evaluation) и исследовать модель с выбранными данными валидации.
Точно так же можно использовать окно Оценка модели (Model Evaluation) для исследования моделей с другими данными с помощью выбора меню Model > Evaluate > Other Data из узла моделирования. Требуемые шаги те же: выберите набор данных, при необходимости совпадите с именами сигналов и выберите тесты для использования.
