Сравнение альтернативных моделей

Когда вы используете приложение MBC Model Fitting, чтобы подгонять статистические модели к экспериментальным данным, приложение автоматически подгоняет модели к вашим данным. Модели по умолчанию обычно могут привести к хорошей подгонке, но рассмотрите оценку подгонок и исследование альтернативных моделей. После оценки начальной модели подгонки, используйте инструменты приложения, чтобы создать больше моделей для поиска наилучшей подгонки.

Чтобы создать альтернативные модели, в представлениях модели Model Browser используйте Common Tasks ссылки. После создания моделей для сравнения на виде модели отображается список Альтернативные модели (Alternative Models). Чтобы помочь вам оценить каждую модель и решить, какую модель выбрать лучше, используйте графики и диагностическую статистику Model Browser.

После того, как вы используете диалоговое окно Шаблон модели (Model Template) для создания дочерних узлов, тулбокс выбирает лучшую модель из альтернатив (обозначенных синим значком) на основе выбранных критериев выбора. Для локальных узлов выбирается лучший дочерний узел каждой функции отклика.

Оцените все подгонки в списке Альтернативные модели в случае, если вы хотите выбрать альтернативу как лучшую подгонку.

Сравнение подгонок с использованием графиков модели

Чтобы сравнить графики и статистику и выбрать лучшую модель, выберите каждую модель в списке альтернативных моделей. Чтобы определить лучшую подгонку, вы исследуете и графики, и статистику. Начните с визуального осмотра графиков модели. В Model Browser используйте графики Response Model в узле плана тестирования. Для получения дополнительной информации об использовании графиков для сравнения подгонок, смотрите Оценку трендов модели высокого уровня.

Сравнение подгонок с использованием статистики

Используйте сводную таблицу, чтобы оценить текущую выбранную модель. Когда у вас будет список альтернативных моделей, используйте ту же статистику в списке, чтобы сравнить модели и выбрать лучшие.

Сводная таблица может включать следующую информацию.

Статистическая величина

Описание

Оценка моделей модели

Наблюдения

Количество наблюдений, используемых для оценки модели.

НА

Параметры

Количество параметров в модели.

Гауссовы модели процесса отображают эффективное количество параметров, поэтому это может быть нецелое число.

Ищите модели с меньшим количеством параметров, чем наблюдения. Если величины близки, это указывает на возможность сверхподбора кривой.

НАЖМИТЕ RMSE

Корневая средняя квадратичная невязка предсказанных ошибок.

PRESS RMSE является мерой прогнозирующей степени ваших моделей (только для линейных моделей). Делитель, используемый для PRESS RMSE, является количеством наблюдений. Невязки находятся в нетрансформированных значениях, что позволяет сравнивать альтернативные модели с различными преобразованиями Box-Cox.

Проверьте более низкие значения PRESS RMSE, чтобы указать лучшие модели без сверхподбора кривой. Сравните PRESS RMSE с RMSE. Если значение PRESS RMSE намного больше, чем RMSE, то вы переустраиваетесь.

RMSE

Корневая средняя квадратичная невязка.

Делитель, используемый для RMSE, является количеством наблюдений минус количество параметров. Невязки находятся в нетрансформированных значениях, что позволяет сравнивать альтернативные модели с различными преобразованиями Box-Cox.

Следите за более низкими значениями RMSE, чтобы указать лучшие подгонки, но остерегайтесь сверхподбора кривой. См. PRESS RMSE.

AICc

Информационные критерии.

Недоступен для Гауссовых моделей процесса.

Проверьте более низкие значения AICc.

Значимо только различие между значениями AICc для двух моделей, а не абсолютное значение: если это различие больше примерно 10, то отбросьте худшую модель.

Бокс-Кокс

Преобразование степени, используемое для прямоугольного преобразования.

1 указывает на отсутствие преобразования.

0 указывает, что используется преобразование журнала.

1 указывает на отсутствие преобразования.

0 указывает, что используется преобразование журнала.

Валидация RMSE

(только одноэтапные модели)

Корневая средняя квадратичная невязка между одностадийной моделью и данными валидации.

Проверьте более низкие значения RMSE валидации.

Для линейных моделей используйте пошаговые функции (выберите опцию Stepwise во время настройки модели), чтобы уточнить свои модели и удалить менее полезные условия модели. Убедитесь, что вы исследуете выбросы, но не удаляйте их автоматически без уважительной причины.

После оценки моделей и выбора, экспортируйте модели в CAGE для оптимизированной калибровки. В узле плана тестирования щелкните Generate calibration на панели Общие задачи.

Итоговая статистика

Чтобы помочь вам оценить модели, можно выбрать дополнительную статистику в диалоговом окне Сводная статистика. Стандартными сводными статистическими данными являются PRESS RMSE (только для линейных моделей) и RMSE.

  1. Чтобы открыть диалоговое окно Сводная статистика:

    • Из любого узла глобальной модели выберите Model > Summary Statistics.

    • Из плана тестирования щелкните правой кнопкой мыши блок глобальной модели и выберите Summary Statistics. Если необходимо, чтобы итоговая статистика применялась ко всем моделям в план тестирования, используйте эту опцию перед построением моделей. При создании дочернего узла сводная статистика наследует статистику узла плана тестирования или родительского узла.

  2. Выберите дополнительную статистику путем установки флажков.

  3. Нажмите OK. Изменения, внесенные из узла глобальной модели, немедленно применяются к таблице Сводка (Summary) и панели списка Модели (Models).

Доступная статистика

Описание

Оценка моделей модели

GCV

Weighted PRESS

- 2LogL

R^2

R^2 adj

PRESS R^2

DW

Имена и формула указаны в диалоговом окне.

В целом, ищите более низкие значения. В этой таблице содержатся общие рекомендации.

Статистическая величина

Значение

Подгонка модели

R^2

R^2 adj

PRESS R^2

Меньше 0.5

Бедный

Больше 0.5 и менее 0.9

Умеренный

Больше 0.9 и менее 1.0

Хорошо

Близко к 1.0

Потенциально избыточная подгонка

cond(J)

Индикатор состояния.

Высокие значения (например, > 108) может быть признаком численной нестабильности.

AIC

AICc (small sample)

BIC

Информационные критерии.

Доступен для сравнения, только если одни и те же данные используются для всех моделей.

Недоступен для Гауссовых моделей процесса.

  • Различия между двумя информационными критериями представляют интерес, а не абсолютное значение. Как правило, большой палец, различие 2 или менее означает, что модели являются примерно одинаковым качеством подгонки.

  • Все информационные критерии накладывают штраф за сверхподбор кривой, который линейно увеличивается с количеством параметров в модели.

  • Как приблизительное руководство, типичные модели, благоприятствуемые BIC, менее сложны, чем модели, выбранные AIC или AICc.

  • AICc (small sample) предназначен для случаев, когда параметры/наблюдения < 40. Использование AIC или AICc, но не то и другое.

Дурбин-Ватсон

Корреляция смежных наблюдений, обычно невязки регрессии временных рядов.

Значение 2.0 предполагает отсутствие временной корреляции.

Примечание

  • Для обычных случаев наименьших квадратов 'p' является количеством параметров, но для неординарных случаев наименьших квадратов (rols и ridge least квадратов) 'p' является эффективным количеством параметров (p = N-df).

  • Общая сумма вычислений квадратов (SST) зависит от константы модели. Если ваша модель имеет константу, общая сумма вычислений квадратов (SST) зависит от среднего значения (SST = sum (y-ymean) ^ 2). Если ваша модель не имеет константы, вычисление не зависит от среднего (SST = sum (y) ^ 2).

Другие окна оценки модели

Чтобы просмотреть информацию, перечисленную в таблице, можно использовать другие окна оценки модели.

КомуВыбрать

Просмотрите доступную только для чтения версию входов, предсказанных и фактических откликов.

View > Modeling Data, чтобы открыть Редактор данных.

Отображение подгонки относительно выбранных данных.

Model > Evaluate, чтобы открыть мастер, который поможет вам выбрать данные, а затем откроет окно Оценка модели (Model Evaluation).

Постройте график нескольких моделей на одном графике или на таблице виде.

Model > Selection Window, чтобы открыть окно Выбор модели (Model Selection).

Похожие темы