Сравните альтернативные модели

Когда вы используете приложение MBC Model Fitting, чтобы соответствовать статистическим моделям к экспериментальным данным, приложение автоматически подбирает модели к вашим данным. Модели по умолчанию могут обычно производить хорошую подгонку, но рассматривать подгонки оценки и исследование альтернативных моделей. После оценки начальной подгонки модели используйте инструменты приложения, чтобы создать больше моделей, чтобы искать лучшую подгонку.

Чтобы создать альтернативные модели, в представлениях модели Model Browser, используют ссылки Common Tasks. После того, как вы создадите модели, чтобы выдержать сравнение, вы видите Альтернативный список Моделей в представлении модели. Чтобы помочь вам оценить каждую модель и решить, который модель выбрать как лучше всего, используют графики и диагностическую статистику Model Browser.

После того, как вы используете диалоговое окно Model Template, чтобы создать дочерние узлы, тулбокс выбирает лучшую модель из альтернатив (обозначенный с синим значком) на основе критериев выбора, которые вы выбираете. Для локальных узлов выбран лучший дочерний узел каждой функции ответа.

Оцените все подгонки в Альтернативном списке Моделей в случае, если вы хотите выбрать альтернативу в качестве лучшей подгонки.

Сравните подгонки Используя графики модели

Чтобы сравнить графики и статистику и выбрать лучшую модель, выберите каждую модель в списке альтернативных моделей. Чтобы определить лучшую подгонку, вы исследуете и графики и статистику. Начните с визуального осмотра графиков модели. В Model Browser используйте графики Response Model в узле плана тестирования. Для получения дополнительной информации об использовании графиков сравнить подгонки, смотрите, Оценивают Высокоуровневые Тренды Модели.

Сравните подгонки Используя статистику

Используйте сводную таблицу, чтобы оценить в настоящее время выбранную модель. Когда у вас будет список альтернативных моделей, используйте ту же статистику в списке, чтобы сравнить модели и выбрать лучшее.

Сводная таблица может включать следующую информацию.

Статистическая величина

Описание

Оцените подгонки модели

Наблюдения

Количество наблюдений раньше оценивало модель.

Нет данных

Параметры

Количество параметров в модели.

Гауссовы модели процессов отображают эффективное количество параметров, таким образом, это может быть нецелое число.

Ищите модели меньшим количеством параметров, чем наблюдения. Если количества близки, это указывает на возможный сверхподбор кривой.

НАЖМИТЕ RMSE

Среднеквадратическая ошибка предсказанных ошибок.

НАЖМИТЕ RMSE является мерой предсказательной силы ваших моделей (только для линейных моделей). Делитель, используемый для, НАЖИМАЕТ, RMSE является количеством наблюдений. Остаточные значения находятся в непреобразованных значениях, чтобы включить сравнение между альтернативными моделями с различными преобразованиями Cox Поля.

Ищите ниже НАЖИМАЮТ значения RMSE, чтобы указать на лучшие подгонки без сверхподбора кривой. Сравните НАЖИМАЮТ RMSE with RMSE. Если значение НАЖИМАЕТ, RMSE намного больше, чем RMSE, то вы сверхсоответствуете.

RMSE

Среднеквадратическая ошибка.

Делитель, используемый для RMSE, является количеством наблюдений минус количество параметров. Остаточные значения находятся в непреобразованных значениях, чтобы включить сравнение между альтернативными моделями с различными преобразованиями Cox Поля.

Ищите ниже значения RMSE, чтобы указать на лучшие подгонки, но остерегаться сверхподбора кривой. Смотрите НАЖИМАЮТ RMSE.

AICc

Информационные критерии.

Не доступный для Гауссовых моделей процессов.

Ищите нижние значения AICc.

Только различие между значениями AICc для двух моделей значимо, не абсолютное значение: если это различие больше приблизительно 10, то отбросьте худшую модель.

Cox поля

Степень преобразовывает используемый для преобразования рулевого шлюпки поля.

1 не указывает ни на какое преобразование.

0 указывает, что журнал преобразовывает, используется.

1 не указывает ни на какое преобразование.

0 указывает, что журнал преобразовывает, используется.

Валидация RMSE

(только одноэтапные модели)

Среднеквадратическая ошибка между одноэтапной моделью и данными о валидации.

Ищите нижние значения валидации RMSE.

Для линейных моделей используйте пошаговые функции (выберите опцию Stepwise во время настройки модели) совершенствовать ваши модели и удалить менее полезные условия модели. Убедитесь, что вы исследуете выбросы, но автоматически не удаляете их без серьезного основания.

После того, как вы оцениваете свои модели и делаете ваши выборы, экспортируете ваши модели в CAGE для оптимизированной калибровки. От узла плана тестирования нажмите Generate calibration в панели Общих задач.

Итоговая статистика

Чтобы помочь вам оценить модели, можно выбрать дополнительную статистику в диалоговом окне Summary Statistics. Стандартные итоговые статистические данные, НАЖИМАЮТ RMSE (только для линейных моделей) и RMSE.

  1. Открыть диалоговое окно Summary Statistics:

    • От любого узла глобальной модели выберите Model> Summary Statistics.

    • Из плана тестирования щелкните правой кнопкой по блоку глобальной модели и выберите Summary Statistics. Если вы хотите, чтобы итоговая статистика применилась ко всем моделям в рамках плана тестирования, используйте эту опцию прежде, чем создать модели. Когда вы создаете дочерний узел, итоговые статистические данные наследовали узел плана тестирования или родительскую статистику узла.

  2. Выберите дополнительную статистику путем устанавливания флажков.

  3. Нажмите OK. Изменения, внесенные от узла глобальной модели, сразу применяются к Сводной таблице и панели списка Моделей.

Доступная статистика

Описание

Оцените подгонки модели

GCV

Weighted PRESS

- 2LogL

R^2

R^2 adj

PRESS R^2

DW

Имена и формула находятся в диалоговом окне.

В общем случае ищите нижние значения. Эта таблица обеспечивает общее руководство.

Статистическая величина

Значение

Подгонка модели

R^2

R^2 adj

PRESS R^2

Меньше, чем 0.5

Плохой

Больше, чем 0.5 и меньше, чем 0.9

Умеренный

Больше, чем 0.9 и меньше, чем 1.0

Хороший

Близко к 1.0

Потенциально сверхподходящий

cond(J)

Индикатор состояния.

Высокие значения (e.g.,> 108), может быть знак числовой нестабильности.

AIC

AICc (small sample)

BIC

Информационные критерии.

Доступный для сравнения, только если те же данные используются для всех моделей.

Не доступный для Гауссовых моделей процессов.

  • Различия между двумя информационными критериями представляют интерес, не абсолютное значение. Как показывает опыт, различие 2 или меньше средних моделей примерно то же качество подгонки.

  • Все информационные критерии налагают штраф за сверхподбор кривой, который увеличивается линейно с количеством параметров в модели.

  • Как грубое руководство, типичные модели, одобренные BIC, менее сложны, чем выбранные AIC или AICc.

  • AICc (small sample) спроектирован для случаев где параметры/наблюдения <40. Используйте AIC или AICc, но не то и другое одновременно.

Дербин-Уотсон

Корреляция смежных наблюдений, обычно остаточные значения регрессии временных рядов.

Значение 2,0 предполагает, что нет никакой корреляции времени.

Примечание

  • Для обычных случаев наименьших квадратов 'p' является количеством параметров, но для необычных случаев наименьших квадратов (списки и гребенчатые наименьшие квадраты) 'p' является эффективным количеством параметров (p = N-df).

  • Полная сумма квадратов (SST) вычисление зависит от константы модели. Если ваша модель имеет константу, полную сумму квадратов (SST), вычисление зависит от среднего значения (SST=sum (y-ymean) ^2). Если ваша модель не имеет константы, вычисление не зависит от среднего значения (SST=sum (y) ^2).

Другой Windows оценки модели

Чтобы просмотреть перечисленную в таблице информацию, вы можете другие окна оценки модели.

КВыбрать

Просмотрите версию только для чтения входных параметров, предсказанных, и фактических ответов.

View> Modeling Data, чтобы открыть Редактор Данных.

Отображение подгонки относительно выбранных данных.

Model> Evaluate, чтобы открыть мастер, который помогает вам выбрать данные, и затем открывает окно Model Evaluation.

Постройте многоуровневые модели на том же графике или табличное представление.

Model> Selection Window, чтобы открыть окно Model Selection.

Похожие темы