Чтобы определить, какая модель наилучшим образом подходит для набора данных, используйте графики и статистику в видах браузера модели. Для определения наилучшего соответствия сначала изучите графические результаты. Если невозможно устранить совпадения моделей путем их графического анализа, используйте статистические результаты. Используйте эти рекомендации, чтобы помочь оценить модели и определить наилучшее соответствие.
Если Toolbox™ Калибровка на основе модели (Model-Based Calibration) соответствует шумным данным, модель может переопределить или недоукомплектовать данные. Во время посадки панель инструментов уравновешивает смещение и отклонение. Смещение измеряет, насколько хорошо модель соответствует тенденциям данных. Дисперсия и среднеквадратичная ошибка (RMSE) измеряют, насколько хорошо модель соответствует данным. RMSE - квадратный корень дисперсии.
Чтобы определить, находится ли модель под или перепрофилирована, рассмотрим количество параметров в модели. По мере увеличения этого числа увеличивается и сложность модели. По умолчанию панель инструментов калибровки на основе модели использует модель гауссова процесса (GPM) для подгонки данных. Если количество параметров в ГПМ приближается к количеству наблюдений, модель может быть переопределена.
Модель | Описание | Уклон | Отклонение/RMSE |
|---|---|---|---|
Underfit | Модель не фиксирует тенденции данных. Модель содержит меньше параметров, чем выравнивание данных. | Высоко | Высоко |
Сверхподгонка | Модель слишком близко подходит к точкам данных, следя за шумом, а не захватывая тренд. Модель содержит больше параметров, чем выравнивается данными. | Низко | Низко |
Среднеквадратическая ошибка измеряет среднее несоответствие между каждой точкой данных и моделью. Для проверки качества посадки начните со значений RMSE. Высокие значения RMSE могут указывать на проблемы. Низкие значения RMSE указывают на близкое совпадение с данными. Если модель точно предсказывает каждую точку данных, то значение RMSE равно нулю.
На этом рисунке показано, как увеличение количества параметров в модели может привести к переоборудованию при сохранении низкого значения RMSE. Девять «истинных» точек данных генерируются из кубического многочлена с известным количеством шума. Кубический многочлен имеет четыре параметра. В этом случае модель 4-го порядка обеспечивает наилучшее соответствие.
Модель | Параметры | Сверхподгонка | Underfit | RMSE |
|---|---|---|---|---|
Истина (3-й порядок плюс шум) | 4 | НА | ||
2-й порядок | 3 | ✓ | Высоко | |
4-й порядок | 5 | Низко | ||
6-й орден | 7 | ✓ | Низко | |
8-й орден | 9 | ✓ | Низко | |
Если для оценки соответствия модели вы полагаетесь исключительно на RMSE, модель может быть переоснащена и работать плохо в регионах, не содержащих точек данных. Рассмотрите возможность использования прогнозируемой остаточной суммы ошибок корня (PRESS) среднеквадратичной ошибки (RMSE) и статистики информационных критериев, которые измеряют превышение соответствия модели.
Статистическая величина | Описание | Оценка соответствия модели |
|---|---|---|
PRESS RMSE - Прогнозируемая сумма остаточных ошибок среднеквадратичной ошибки корня (PRESS) (RMSE) | Для каждой точки данных статистика вычисляет, насколько хорошо модель подходит к точке данных, если она не включена в аппроксимацию. Значение PRESS RMSE представляет собой среднее значение результатов. | Если значение параметра PRESS RMSE больше, чем значение параметра RMSE, модель может оказаться излишней. В общем случае используйте PRESS RMSE для меньших наборов данных. |
AIC и AICc - Информационные критерии Akaike BIC - байесовские информационные критерии | Статистика, объединяющая термин RMSE с термином, который увеличивается с количеством параметров в модели. Это штрафует модель за повышение ее уровня структуры. AIC, AICc и BIC - это аппроксимации, которые становятся более точными по мере увеличения числа точек данных. | Для улучшения соответствия сведите к минимуму статистику информационных критериев. Как правило, не используйте их, если отношение точек данных к параметрам не превышает 40:1. [1] AICc используется для небольших наборов данных. АПК - наиболее подходящий информационный критерий для большинства проблем при калибровке двигателя. |
Эта статистика помогает выбрать модель, которая делает разумные прогнозы в точках данных и областях между точками данных. Чтобы проверить модель, соберите дополнительные данные проверки. Затем используйте модель для измерения того, насколько хорошо модель прогнозирует эти данные проверки. Сравнение RMSE проверки с RMSE на основе данных моделирования является хорошей статистикой выбора модели. Окно Оценка модели (Model Evaluation) используется для проверки моделей на соответствие другим данным. Данные проверки можно использовать во всем плане тестирования.
Чтобы помочь использовать информационные критерии для сравнения моделей, в этом разделе представлена справочная информация об информационных критериях Akaike (AIC и AICc) и Bayes Information Criterion (BIC).
Критерии информации | Описание |
|---|---|
Критерии типа AIC | Основываясь на различии информации Куллбэка-Лейблера между двумя моделями или их расстоянии K-L. Расстояние K-L является полезной мерой, поскольку сравнивает информационное содержание двух кривых, вычисляя энтропию в каждой. Акайке и другие нашли способы оценки расстояния K-L на основе результатов оценки максимального правдоподобия параметров модели, учитывая некоторые данные. Эти оценки являются информационными критериями и становятся более точными по мере увеличения размера выборки [1]. |
КОНТРОЛЛЕР МАГИСТРАЛЬНОГО ИНТЕРФЕЙСА | Выведен из теоремы Байеса. Применяет эффект Occam для выбора предпочтительной модели. Если две модели обеспечивают одинаково хорошее соответствие с некоторыми данными, то более простая модель является более вероятной. Для моделей с большей сложностью менее примечательно, что они способны хорошо соответствовать заданному набору данных. И наоборот, для простой модели, если вы сталкиваетесь с набором данных, для которого модель обеспечивает приемлемое соответствие, это может показаться совпадением. Поэтому для данных, хорошо соответствующих обеим моделям, шансы заключаются в том, что более простая модель ближе к истине. [4] |
Факторы Байеса (коэффициенты доказательств) | Измерьте относительные вероятности двух моделей. В контексте инструментария калибровки на основе модели BIC представляет собой оценку факторов Байеса на основе результатов оценки максимального правдоподобия и, как и AIC, повышает точность в пределе большого размера выборки. Хотя приоры часто приходят на ум в контексте теоремы Байеса, эффект Оккама всё ещё применяется. [3] |
AIC и BIC улучшаются в качестве оценщиков своих статистических показателей по мере увеличения размера выборки с относительными ошибками O (n-1), где n - размер выборки. AIC получается из расширения Тейлора 1-го порядка. AICc является коррекцией 2-го порядка для специального случая гауссова правдоподобия (без общей коррекции 2-го порядка). Используйте AICc, если отношение выборок данных к параметрам модели (в самой большой модели для вложенных наборов) меньше, чем около 40:1. [2], [5]
Большинство проблем в панели инструментов калибровки на основе модели не настолько просты, чтобы модель содержала замкнутые решения динамических уравнений. С точки зрения количества выборок на один параметр модели AIC редко может быть надежной статистикой. Вместо этого используйте AICc. Если вы предпочитаете более консервативную оценку сложности модели, рассмотрите возможность использования BIC.
[1] Бернем, Кеннетом П. и Дэвидом Р. Андерсоном. Выбор модели и вывод мультимодели: практический информационно-теоретический подход. 2-е издание. Нью-Йорк: Спрингер-Верлаг, 2002.
[2] Дрейпер, Норман Р. и Гарри Смит. Примененный регрессионный анализ. 3-е издание. Нью-Йорк: John Wiley & Sons, 1998.
[3] Касс, Роберт Э. и Адриан Э. Рафтери. «Факторы Байеса.» Журнал Американской статистической ассоциации. Том 90, номер 430, 1995, стр. 773-795.
[4] Леонард, Томас и Джон С.Дж. Хсу. Байесовские методы. Кембридж: Cambridge University Press, 2001.
[5] Маккей, Дэвид. Теория информации, вывод и алгоритмы обучения. Кембридж: Cambridge University Press, 2003.