Чтобы определить, какая модель обеспечивает лучшее пригодное для набора данных, используйте графики и статистику в представлениях Model Browser. Чтобы определить лучшую подгонку, сначала исследуйте графические результаты. Когда вы больше не сможете устранять образцовые подгонки путем исследования их графически, используйте статистические результаты. Используйте эти инструкции, чтобы помочь оценить модели и определить лучшую подгонку.
Когда Model-Based Calibration Toolbox™ соответствует шумным данным, модель может сверхсоответствовать или underfit данные. Во время подгонки тулбокс балансирует смещение и отклонение. Сместите меры, как хорошо образцовая подгонка следует за трендами данных. Отклонение и среднеквадратическая ошибка (RMSE) обе меры, как хорошо образцовая подгонка совпадает с данными. RMSE является квадратным корнем из отклонения.
Чтобы определить, находится ли модель под или сверхподгонка, рассмотрите количество параметров в модели. Когда этот номер увеличивается, сложность модели - также. По умолчанию Model-Based Calibration Toolbox использует Гауссову модель процесса (GPM), чтобы соответствовать данным. Если количество параметров в GPM приближается к количеству наблюдений, сила модели являются сверхподходящими.
Модель | Описание | Смещение | Variance/RMSE |
|---|---|---|---|
Underfit | Модель не получает тренды данных. Модель содержит меньше параметров, чем данные выравнивают по ширине. | Высоко | Высоко |
Сверхподгонка | Модель соответствует точкам данных слишком тесно, после шума, довольно получающего тренд. Модель содержит больше параметров, чем данные выравнивают по ширине. | Низко | Низко |
Среднеквадратическая ошибка измеряет среднее несоответствие между каждой точкой данных и моделью. Чтобы осмотреть подходящее качество, запустите со значений RMSE. Высокие значения RMSE могут указать на проблемы. Низкие значения RMSE указывают на близкое соответствие с данными. Если модель предсказывает каждую точку данных точно, то RMSE является нулем.
Этот рисунок показывает, как увеличение числа параметров в модели может привести к сверхподбору кривой при поддержании низкого RMSE. Девять точек данных "истины" сгенерированы от кубического полинома с известным количеством шума. Кубический полином имеет четыре параметра. В этом случае 4-я модель порядка обеспечивает лучшую подгонку.
Модель | Параметры | Сверхподгонка | Underfit | RMSE |
|---|---|---|---|---|
Истина (3-й порядок плюс шум) | 4 | Нет данных | ||
2-й порядок | 3 | ✓ | Высоко | |
4-й порядок | 5 | Низко | ||
6-й порядок | 7 | ✓ | Низко | |
8-й порядок | 9 | ✓ | Низко | |
Если вы полагаетесь только на RMSE, чтобы оценить образцовую подгонку, сила модели являются сверхподходящими и выполняют плохо в областях, которые не содержат точки данных. Рассмотрите использование предсказанной суммы квадратов остаточной ошибки (НАЖАТИЕ) среднеквадратическая ошибка (RMSE) и информационные статистические данные критериев, которые измеряют образцовую сверхподгонку.
Статистическая величина | Описание | Оцените образцовые подгонки |
|---|---|---|
НАЖМИТЕ RMSE — Предсказанная сумма квадратов остаточной ошибки (НАЖАТИЕ) среднеквадратическая ошибка (RMSE) | Для каждой точки данных вычисляет статистическая величина, как хорошо модель соответствует точке данных, когда это не включено в подгонку. НАЖАТЬ RMSE является средним значением результатов. | Если НАЖАТЬ RMSE больше, чем RMSE, сила модели является сверхподходящей. В целом используйте, ТРЕБУЮТ у RMSE меньших наборов данных. |
AIC и AICc — критерии информации о Akaike BIC — байесовы информационные критерии | Статистические данные, которые комбинируют термин RMSE с термином, который повышается с количеством параметров в модели. Это штрафует модель за увеличение его уровня структуры. AIC, AICc и BIC являются приближениями, которые становятся более точными как количество увеличений точек данных. | Для лучших подгонок минимизируйте информационную статистику критериев. В целом не используйте их, если отношение точек данных к параметрам не больше, чем 40:1. [1] Используйте AICc для меньших наборов данных. AIC самый соответствующий информационный критерий большинства проблем в калибровке механизма. |
Эти статистические данные помогают вам выбрать модель, которая делает разумные прогнозы в точках данных и областях между точками данных. Чтобы подтвердить вашу модель, соберите дополнительные данные о валидации. Затем используйте свою модель, чтобы измериться, как хорошо модель предсказывает те данные о валидации. При сравнении валидации RMSE с RMSE на основе данных о моделировании является хорошей образцовой статистической величиной выбора. Используйте окно Model Evaluation, чтобы подтвердить модели против других данных. Можно использовать данные о валидации в плане тестирования.
Чтобы помочь вам использовать информационные критерии, чтобы сравнить модели, этот раздел обеспечивает справочную информацию об информационных Критериях Akaike (AIC и AICc) и Байесов информационный критерий (BIC).
Информационные критерии | Описание |
|---|---|
Критерии типа AIC | На основе различия в информации Kullback-Leibler между двумя моделями или их расстояния K-L. Расстояние K-L является полезной мерой, потому что оно сравнивает информационное содержимое двух кривых путем вычисления энтропии в каждом. Akaike и другие нашли способы оценить расстояние K-L на основе результатов оценки наибольшего правдоподобия параметров модели, учитывая некоторые данные. Эти оценки являются информационными критериями и становятся более точными, когда объем выборки увеличивается. [1] |
BIC | Выведенный от Байесовой теоремы. Применяет эффект Оккама выбрать предпочтительную модель. Если две модели предоставляют одинаково подходящему варианту для некоторых данных, то, чем более простая модель, тем, вероятнее. Для моделей с большей сложностью менее замечательно, что они могут соответствовать набору определенных данных хорошо. С другой стороны, для простой модели, если вы сталкиваетесь с набором данных, для которого модель обеспечивает приемлемую подгонку, это казалось бы совпадением. Поэтому для данных, совпадающих с обеими моделями хорошо, разногласия - то, что более простой ближе к истине. [4] |
Байесовы факторы (отношения доказательства) | Измерьте относительные вероятности двух моделей. В контексте Model-Based Calibration Toolbox BIC является оценкой факторов Бейеса на основе результатов оценки наибольшего правдоподобия, и, как AIC, увеличения точности в пределе размера большой выборки. Несмотря на то, что уголовное прошлое часто приходит на ум в контексте теоремы Бейеса, эффект Оккама все еще применяется. [3] |
AIC и BIC улучшаются как средства оценки их статистических мер, когда объем выборки увеличивается с относительными погрешностями O (n-1), где n является объемом выборки. AIC получен из 1-го порядка Разложение Тейлора. AICc является 2-м исправлением порядка для особого случая Гауссовой Вероятности (никакое общее 2-е исправление порядка). Используйте AICc, когда отношение выборок данных к параметрам модели (в самой большой модели для вложенных наборов) будет меньше, чем о 40:1. [2], [5]
Большинство проблем в Model-Based Calibration Toolbox не так просто, что модель содержит решения закрытой формы динамических уравнений. С точки зрения количества выборок на параметр модели AIC, редко, вероятно, будет надежной статистической величиной. Используйте AICc вместо этого. Если вы предпочитаете более осторожную оценку сложности модели, рассматриваете использование BIC.
[1] Бернэм, Кеннет П. и Дэвид Р. Андерсон. Образцовый Выбор и Мультиобразцовый Вывод: Практический Информационно-теоретический Подход. 2-й выпуск. Нью-Йорк: Springer-Verlag, 2002.
[2] Драпировщик, Норман Р, и Гарри Смит. Прикладной Регрессионный анализ. 3-й выпуск. Нью-Йорк: John Wiley & Sons, 1998.
[3] Касс, Роберт Э. и Эдриан Э. Рэфтери. “Байесовы Факторы”. Журнал американской Статистической Ассоциации. Объем 90, Номер 430, 1995, стр 773–795.
[4] Леонард, Томас и Джон С.Дж. Сюй. Байесовы методы. Кембридж: Издательство Кембриджского университета, 2001.
[5] Маккей, Дэвид. Теория информации, вывод и изучение алгоритмов. Кембридж: Издательство Кембриджского университета, 2003.
