Оценка локальных моделей

Как оценить локальные модели

После подгонки моделей с помощью двухэтапного плана тестирования в Model Browser необходимо оценить локальные модели, затем глобальные модели, а затем создать двухэтапную модель. При выборе локального узла (со значком) в дереве Model Browser появляется представление локального уровня. На местном уровне можно:

Обратите внимание, что после вычисления двухэтапной модели значок локального узла изменяется на двухэтапный значок (), чтобы отразить это. Узел отклика также имеет двухэтапный значок, но вместо этого создает представление уровня отклика.

Использование локальных графиков модели

График сдвига

Можно прокрутить все локальные модели с помощью кнопок тестирования вверх и вниз, ввести непосредственно в поле редактирования или перейти непосредственно к тестовым номерам, нажав Select Test.

График сдвига показывает локальную модель в подгонку с данными только для текущего теста с данной величиной точкой, если есть данная величина модель. Если в локальную модель существует несколько входов, отображается предсказанный/наблюдаемый график. В этом случае, чтобы изучить поверхность модели более подробно, можно использовать Model > Evaluate. См. Окно оценки модели.

Чтобы более подробно изучить локальную подгонку, закройте другие графики или увеличьте изображение частей графика путем Shift перемещение нажатия кнопки мыши или перетаскивания по среднему клику - места интереса на графике. Возврат к полному размеру путем двойного клика.

График диагностической статистики

График Diagnostic Statistics может показать различные графики поля точек статистики для оценки качества подгонки для текущей локальной модели, показанной. Статистика, доступная для графического изображения, зависит от модели.

Предыдущий пример - выпадающее меню на график поля точек для изменения коэффициентов x и y. В этом случае spark - локальный входной коэффициент и torque - ответ. Локальные входы, реакция и предсказанный ответ всегда доступны в этих меню. Номер наблюдения также всегда доступен.

Другие опции являются статистикой, которая зависит от модели и может включать невязки, взвешенные невязки, исследуемые невязки и рычаги. На местном уровне это внутренне изученные невязки.

Использование графика RMSE с локальными моделями

Используйте график RMSE, чтобы быстро идентифицировать тесты проблемы и перейти к интересующему тесту. График показывает стандартные ошибки всех тестов как в целом, так и по признаку отклика. Перейдите к интересующему тесту, дважды кликнув точку на графике, чтобы выбрать тест на других графиках в локальном представлении модели.

График отображает одно значение стандартной ошибки за тест, в целом и для каждой функции отклика. Как лучшая практика, сначала постройте график RMSE против тестового номера, чтобы получить представление о том, как распределяется ошибка, и найдите любые тесты с гораздо более высокими ошибками. Щелкните правой кнопкой мыши, чтобы переключить отображение тестовых номеров. В идеале все стандартные ошибки должны быть примерно одинаковыми значениями, чтобы удовлетворить статистическим предположениям для двухэтапных моделей. Если эти допущения не удовлетворены, оценки ошибок для двухэтапных моделей могут быть недействительными.

Можно также использовать выпадающие списки факторов оси X и Y, чтобы построить график этих стандартных ошибок с глобальными переменными, чтобы изучить глобальное распределение ошибок.

Дополнительные графики

Вы можете добавить или изменить графики, нажав кнопки на панели инструментов, разделить кнопки в строках заголовков графиков или выбрав опцию из Current View в контекстном меню или View меню. Вы можете добавить:

  • Data Plots - Просмотр графиков данных для текущего теста. Выберите View > Plot Variables, чтобы выбрать переменные для построения графика. Можно выбрать просмотр любых сигналов данных в наборе данных для текущего теста (включая сигналы, не используемые в моделировании). Можно построить график пары переменных или график переменной с номером записи. Вы можете добавить больше графиков данных, если хотите.

    Примечание

    Можно также просмотреть значения глобальных переменных на панели Глобальные переменные.

  • Normal Plot - Нормальные графики являются полезным графом для оценки, получены ли данные из нормального распределения. Для получения дополнительной информации см. «Нормальные графики вероятностей».

  • Validation Data Если вы используете данные валидации, график показывает невязки валидации локальной модели, если есть данные валидации для текущего теста (глобальные переменные должны совпадать). Если существует двухэтапная модель, также показываются двухэтапные невязки валидации. Данные валидации должны быть приложены в разделе «Редактирование определения плана тестирования». См. Использование данных валидации.

  • Model Definition - Просмотр параметров и коэффициентов формулы модели и деталей масштабирования.

Удаление выбросов и обновление подгонок

Удаление и восстановление выбросов

Можно использовать контекстные меню правой кнопкой мыши на графиках или Outliers меню, чтобы удалить и восстановить выбросы. Доступные опции см. в разделе «Удаление и восстановление выбросов».

Локальные модели имеют дополнительную опцию для удаления целого теста: Outliers > Remove All Data. Эта опция оставляет текущую локальную модель без данных, поэтому полностью удаляет текущий тест. Этот тест удаляется из всех глобальных моделей.

Обновление других подгонок

Когда вы удаляете выбросы из локальной модели, он немедленно повторяется. Другие зависимые модели также нуждаются в обновлениях. Можно выбрать, когда обновить другие модели. Удаление выбросов может повлиять на несколько других моделей. Удаление выбросов из лучшей локальной модели изменяет все функции отклика для этой двухэтапной модели. Все глобальные модели изменяются; поэтому двухэтапная модель должна быть пересчитана. По этой причине локальный узел модели возвращается к локальному значку (house), и узел отклика снова становится пустым. Если двухэтапная модель имеет заданную данной величиной модель, и другие модели в план тестирования используют данную величину ссылки модель, они аналогично затронуты.

Для обновления подгонок также:

  • В локальном представлении используйте кнопку Update Fit панели инструментов, чтобы обновить все зависимые модели.

  • Когда вы выбираете другой узел модели, вам предлагается обновить или отложить обновление.

    При выходе из локального узла диалоговое окно спрашивает, хотите ли вы обновить все зависимые модели. Щелкните Yes, чтобы обновить все глобальные модели или No, чтобы задержать длительные обновления зависимых подгонок. Задержка обновлений может быть полезной, когда необходимо изучить только конкретную глобальную модель после удаления выбросов на локальном уровне. С опцией deler можно избежать ожидания во время обновления всех других зависимых подгонок.

    Если вы откладываете обновление подгонок и переходите к узлу функции отклика, тулбокс ссылается только на этот узел, поэтому можно просмотреть подгонку глобальной модели. Другие функции отклика не обновляются, если вы не кликните их. При повторном возвращении к локальному узлу кнопка Update Fit активируется. До тех пор, пока вы не обновитесь, в нижней части браузера появится сообщение о том, что у вас есть отложенные обновления.

Создание двухэтапных моделей

Чтобы создать двухэтапную модель, щелкните Create Two-Stage на панели Общие задачи.

Если ваша модель поддерживает его, вам предлагается вычислить двухэтапную модель с помощью максимальной оценки правдоподобия (MLE). Это учитывает корреляции между функциями отклика.

Примечание

Вам нужно правильное количество функций отклика, чтобы создать двухэтапную модель. Если вам нужно выбрать функции отклика, то тулбокс создает двухэтапную модель.

После создания двухэтапной модели сравните локальную подгонку и двухэтапную подгонку на графиках локального уровня.

 Настройки MLE

Создание альтернативных локальных и глобальных моделей

  • Чтобы быстро создать выбор альтернативных глобальных моделей для сравнения, на панели Общие задачи (Common Tasks) нажмите Build Global Models. Это открывает диалоговое окно Шаблон модели (Model Template). Для локальных моделей создается выбор дочерних узлов для каждого узла функции отклика. Для получения дополнительной информации смотрите Создание альтернативных моделей для сравнения.

    Тулбокс выбирает лучшую модель для каждой функции отклика, основываясь на критериях выбора (таких как AICc). Оцените все подгонки в случае, если вы хотите выбрать альтернативу.

  • Чтобы изменить текущий тип локальной модели, на панели Общие задачи (Common Tasks) нажмите Edit Model. Это открывает диалоговое окно Настройка модели (Model Setup), в котором можно выбрать другой тип модели. См. Исследование типов локальных моделей.

  • Model > Fit Local - открывает диалоговое окно Local Model Fit Tool. Если вы ковариационное моделирование, можно выбрать три алгоритма: REML (Ограниченная максимальная правдоподобность - значение по умолчанию), Pseudo-likelihood, или Absolute residuals. Использование кнопки Fit может сделать несколько шагов, чтобы сходиться, но если вы используете кнопку One Step, то делается только один шаг в процессе оптимизации. Каждый раз, когда вы запускаете процесс, для каждой итерации отображаются начальные и окончательные значения параметров Обобщенные наименьшие квадраты.

    Без ковариационного моделирования можно только кликнуть Fit. Отображаются параметры Обыкновенный метод наименьших квадратов (OLS). Для повторного запуска нажмите кнопку Fit. В поле редактирования можно ввести другое изменение параметров.

После создания альтернативных моделей для следующих шагов смотрите Сравнение альтернативных моделей.

Просмотр статистики локальной модели

Локальная статистическая Панель

Можно выбрать информацию для отображения на панели Local Statistics.

  • Итоговая статистика - RMSE для текущего теста, количество наблюдений, степени свободы от ошибки, R-квадрат, Cond(J) (индекс условия для якобиевой матрицы).

    Примечание

    Проверяйте на высокие значения Cond(J) (например, > 108). Высокие значения этого индикатора состояния могут быть признаком численной нестабильности.

    При наличии данных валидации для текущего теста здесь также отображается Validation RMSE для текущего теста.

  • Параметры - Показывает значения и стандартные ошибки параметров в локальной модели для текущего выбранного теста.

  • Корреляции - Показывает таблицу корреляций между параметрами.

  • Функции отклика - показывает значения и стандартные ошибки функций отклика, определенных для этой локальной модели, от текущего теста (часто некоторые или все из них совпадают с параметрами; другие получают из параметров).

  • Глобальная ковариация - для моделей MLE показывает ковариационную матрицу для функций отклика на глобальном уровне.

На панели Глобальные переменные показаны значения и стандартные ошибки глобальных переменных в положении текущего теста.

Объединенная статистика

Они видны в локальном узле (при двухэтапном моделировании) в таблице Объединенная статистика, и в узле отклика в списке локальных моделей. Если у вас есть выбор локальных или двухэтапных моделей, используйте эту статистику, чтобы помочь вам выбрать, какая модель лучше всего.

Локальный RMSE

Корневая средняя квадратичная невязка между локальной моделью и данными для всех тестов. Делитель, используемый для RMSE, является количеством наблюдений минус количество параметров.

Двухэтапный RMSE

Корневая средняя квадратичная невязка между двухэтапной моделью и данными для всех тестов. Вы хотите, чтобы эта ошибка была маленькой для хорошей подгонки модели.

НАЖМИТЕ RMSE

Корневая средняя квадратичная невязка предсказанных ошибок, полезная для индикации сверхподбора кривой; см. PRESS statistic. Делитель, используемый для PRESS RMSE, является количеством наблюдений. Не отображается для моделей MLE, потому что простая одномерная формула не может использоваться.

Двухступенчатый T ^ 2

T ^ 2 является нормированной суммой квадратов ошибок для всех моделей характеристик отклика. Базовую формулу можно увидеть в представлении Правдоподобие окна Выбор модели (Model Selection).

Где, где Ci является локальной ковариацией для теста i. См. блок-схему ниже.

Большое значение T ^ 2 указывает, что существует проблема с моделями функций отклика.

-log L

Логарифмическая функция логарифмической правдоподобности: вероятность набора наблюдений, учитывая значение некоторых параметров. Вы хотите, чтобы вероятность была большой, склонной к -инфинити, поэтому большой минус хорош.

Для n наблюдений x1, x2,.. xn, с распределением вероятностей, вероятность является:

Это базис MLE. См. «Создание двухэтапных моделей».

который аналогичен:

Это принимает нормальное распределение.

Можно просмотреть графики -log L в окне Model Selection, см. Представление Правдоподобия.

Валидация RMSE

Корневая средняя квадратичная невязка между двухэтапной моделью и данными валидации для всех тестов.

Чтобы объяснить blockdiag, как это появляется в разделе T ^ 2 в таблице статистики Uled:, где Ci является локальной ковариацией для теста i, вычисляется как показано ниже.

Похожие темы