Функция потерь и моделируйте метрики качества

Что такое функция потерь?

Программное обеспечение System Identification Toolbox™ оценивает параметры модели путем минимизации ошибки между выходом модели и измеренного отклика. Эта ошибка, называемая loss function или cost function, является положительной функцией ошибок предсказания e (t). В целом эта функция является взвешенной суммой квадратов ошибок. Для модели с ny -выходы функция потерь V (θ) имеет следующую общую форму:

$V (θ) = \frac{1}{N} \sum_{t = 1}^{N} e^{T} (t, θ) W (θ) e (t, θ)$

где:

N - количество выборок данных.
e (t, θ) ny вектор ошибки -by-1 в заданный временной t, параметризованный вектором θ параметра.
W (θ) является взвешивающей матрицей, заданной как положительная полуопределенная матрица. Если W является диагональной матрицей, можно думать о ней как о способе управления относительной важностью выходов во время многозначных оценок. Когда W является фиксированным или известным весом, это не зависит от θ.

Программа определяет значения параметров путем минимизации V (θ) относительно θ.

Для нотационного удобства V (θ) выражается в своей матричной форме:

$V (θ) = \frac{1}{N} t r a c e (E^{T} (θ) E (θ) W (θ))$

E (θ) является матрицей ошибок размера N -by- ny. Строка i: th E (θ) представляет значение ошибки в момент времени t = i.

Точная форма V (θ) зависит от следующих факторов:

Моделируйте структуру. Для примера является ли модель, которую вы хотите оценить, ARX или моделью пространства состояний.
Оценка и опции оценки. Для примера, используете ли вы n4sid или ssest оценщик и определение таких опций, как Focus и OutputWeight.

Опции для настройки функции потерь

Вы можете сконфигурировать функцию потерь для ваших потребностей приложения. Следующие опции оценки, когда доступны для оценщика, конфигурируют функцию потерь:

Опция оценки	Описание	Примечания
`Focus`	`Focus` опция влияет на вычисление e (t) в функции потерь: Когда `Focus` является `'prediction'`, e (t) представляет 1-ступенчатую ошибку предсказания: $e_{p} (t) = y_{m e a s u r e d} (t) - y_{p r e d i c t e d} (t)$ Когда `Focus` является `'simulation'`, e (t) представляет ошибку симуляции: $e_{s} (t) = y_{m e a s u r e d} (t) - y_{s i m u l a t e d} (t)$ Примечание Для моделей, чей шумовой компонент тривиален, (H (q) = 1), _e p (t) и e s (t) эквивалентны. The `Focus` опция также может быть интерпретирована как фильтр взвешивания в функции потерь. Для получения дополнительной информации смотрите Эффект Особого внимания и Опции Весового Фильтра на Функции Потерь.	Задайте `Focus` опция в наборах опций оценки. Наборы опций оценки для `oe` и `tfest` не имеют `Focus` опция, потому что шумовая составляющая для предполагаемых моделей тривиальна, и так e p (t) и e s (t) эквивалентны.
`WeightingFilter`	Когда вы задаете фильтр взвешивания, предфильтрованное предсказание или ошибка симуляции минимизируется: $e_{f} (t) = ℒ (e (t))$ где $ℒ (.)$ является линейным фильтром. The `WeightingFilter` опция может быть интерпретирована как пользовательский фильтр взвешивания, который применяется к функции потерь. Для получения дополнительной информации смотрите Эффект Особого внимания и Опции Весового Фильтра на Функции Потерь.	Задайте `WeightingFilter` опция в наборах опций оценки. Не все опции для `WeightingFilter` доступны для всех команд оценки.
`EnforceStability`	Когда `EnforceStability` является `true`, цель минимизации также содержит ограничение, что предполагаемая модель должна быть стабильной.	Задайте `EnforceStability` опция в наборах опций оценки. Наборы опций оценки для `procest` и `ssregest` команды не имеют `EnforceStability` опция. Эти команды оценки всегда приводят к стабильной модели. Команды оценки `tfest` и `oe` всегда приводят к стабильной модели при использовании с данными оценки временной области. Идентификация нестабильных объектов требует набора данных под замкнутым циклом со стабилизирующим контроллером обратной связи. Надежная оценка динамики объекта требует достаточно насыщенного шумового компонента в структуре модели, чтобы отделить динамику объекта от эффектов обратной связи. В результате модели, которые используют тривиальный шумовой компонент (H (q) = 1), такие как модели, оцененные `tfest` и `oe` команды, не оценивайте хорошие результаты для нестабильных объектов.
`OutputWeight`	`OutputWeight` опция конфигурирует взвешивающую матрицу W (,) в функции потерь и позволяет управлять относительной важностью каналов выхода во время оценок мультивыхода. Когда `OutputWeight` является `'noise'`, W (θ) равен обратному предполагаемому отклонению e ошибки (t): $W (θ) = {(\frac{1}{N} E^{T} (θ) E (θ))}^{- 1}$ Поскольку W зависит от θ, взвешивание определяется как часть оценки. Минимизация функции потерь с этим весом упрощает функцию потерь следующим образом: $V (θ) = d e t (\frac{1}{N} E^{T} (θ) E (θ))$ Использование обратного отклонения шума является оптимальным взвешиванием в смысле максимальной вероятности. Когда `OutputWeight` является ny -by ny положительной полуопределенной матрицей, используется постоянное взвешивание. Эта функция потерь затем становится взвешенной суммой квадратичных невязок.	Задайте `OutputWeight` опция в наборах опций оценки. Не все опции для `OutputWeight` доступны для всех команд оценки. `OutputWeight` недоступен для оценки полиномиальной модели, потому что такие модели всегда оцениваются по одному выходу за раз. `OutputWeight` невозможно `'noise'` когда `SearchMethod` является `'lsqnonlin'`.
`ErrorThreshold`	`ErrorThreshold` опция задает порог для корректировки веса больших ошибок с квадратичного на линейный. Ошибки больше `ErrorThreshold` умножение предполагаемого стандартного отклонения на линейный вес в функции потерь. $V (θ) = \frac{1}{N} (\sum_{t \in I} e^{T} (t, θ) W (θ) e (t, θ) + \sum_{t \in J} v^{T} (t, θ) W (θ) v (t, θ))$ где: I представляет те моменты времени, для которых $\begin{array}{l} \| e (t) \| < ρ * σ \end{array}$ , где ρ - порог ошибок. J представляет собой дополнение I, то есть момент времени, для которого $\| e (t) \| > = ρ * σ$ . .r- предполагаемое стандартное отклонение ошибки. v ошибки (t, $v (t, θ) = e (t, θ) * σ \frac{ρ}{\sqrt{\| e (t, θ) \|}}$	Задайте `ErrorThreshold` опция в наборах опций оценки. Типичное значение для порога ошибок ρ = 1.6 минимизирует эффект выбросов данных на результатах оценки.
`Regularization`	`Regularization` опция изменяет функцию потерь, чтобы добавить штраф от отклонения предполагаемых параметров. Функция потерь настраивается с целью минимизации ошибок предсказания. Он не включает конкретные ограничения на отклонение (меру надежности) предполагаемых параметров. Это иногда может привести к моделям с большой неопределенностью в предполагаемых параметрах модели, особенно когда модель имеет много параметров. `Regularization` вводит дополнительный термин в функцию потерь, который штрафует гибкость модели: $V (θ) = \frac{1}{N} \sum_{t = 1}^{N} e^{T} (t, θ) W (θ) e (t, θ) + \frac{1}{N} λ {(θ - θ^{})}^{T} R (θ - θ^{})$ Второй член представляет собой взвешенную (R) и масштабированную (	Задайте `Regularization` опция в наборах опций оценки. Для моделей linear-in-parameter (конечной импульсной характеристики) и моделей ARX можно вычислить оптимальные значения переменных регуляризации R и, используя `arxRegul` команда.

Эффект `Focus` и `WeightingFilter` Опции функции потерь

The Focus опция может быть интерпретирована как фильтр взвешивания в функции потерь. The WeightingFilter опция является дополнительным пользовательским фильтром взвешивания, который применяется к функции потерь.

Чтобы понять эффект Focus и WeightingFilter, рассмотрите линейную модель с одним входом с одним выходом:

$y (t) = G (q, θ) u (t) + H (q, θ) e (t)$

Где G (q, θ) - измеренная передаточная функция, H (q, θ) - шумовая модель, а e (t) представляет аддитивные нарушения порядка, смоделированную как белый Гауссов шум. q - оператор сдвига во времени.

В частотном диапазоне линейная модель может быть представлена как:

$Y (ω) = G (ω, θ) U (ω) + H (ω, θ) E (ω)$

где Y (ω), U (ω) и E (ω) являются преобразованиями Фурье выходной, входной и выходной ошибок, соответственно. G (ω, θ) и H (ω, θ) представляют частотную характеристику входно-выходных и шумовых передаточных функций, соответственно.

Функция потерь, которая будет минимизирована для модели SISO, задается:

$V (θ) = \frac{1}{N} \sum_{t = 1}^{N} e^{T} (t, θ) e (t, θ)$

Используя Тождества Парсеваля, функция потерь в частотном диапазоне является:

$V (θ, ω) = \frac{1}{N} {‖ E (ω) ‖}^{2}$

Замена E (ω) дает:

$V (θ, ω) = \frac{1}{N} {‖ \frac{Y (ω)}{U (ω)} - G (θ, ω)) ‖}^{2} \frac{{‖ U (ω) ‖}^{2}}{{‖ H (θ, ω) ‖}^{2}}$

Таким образом, можно интерпретировать минимизацию функции потерь, V как аппроксимацию G (θ, ω) к эмпирической передаточной функции $Y (ω) / U (ω)$ , использование $\frac{{‖ U (ω) ‖}^{2}}{{‖ H (θ, ω) ‖}^{2}}$ в качестве утяжеляющего фильтра. Это соответствует указанию Focus как 'prediction'. Оценка подчеркивает частоты, где вход имеет больше мощности ( ${‖ U (ω) ‖}^{2}$ больше) и снимает акцент на частотах, где шум значителен ( ${‖ H (θ, ω) ‖}^{2}$ большой).

Когда Focus задается как 'simulation', обратное взвешивание с ${‖ H (θ, ω) ‖}^{2}$ не используется. То есть для взвешивания относительной важности входа оценки в определенной частотной подгонке используется только область значений спектр.

Когда вы задаете линейный фильтр $ℒ$ как WeightingFilter, он используется в качестве дополнительного пользовательского взвешивания в функции потерь.

$V (θ) = \frac{1}{N^{2}} {‖ \frac{Y (ω)}{U (ω)} - G (θ)) ‖}^{2} \frac{{‖ U (ω) ‖}^{2}}{{‖ H (θ) ‖}^{2}} {‖ ℒ (ω) ‖}^{2}$

Здесь $ℒ (ω)$ - частотная характеристика фильтра. Использовать $ℒ (ω)$ улучшить подгонку модели к наблюдаемым данным на определенных частотах, так чтобы подчеркнуть подгонку близкой к системным резонансным частотам.

Предполагаемое значение передаточной функции ввода- G то же самое, что и то, что вы получаете, если вы сначала предварительно фильтруете данные оценки с $ℒ (.)$ использование idfilt, а затем оцените модель, не задав WeightingFilter. Однако эффект $ℒ (.)$ от предполагаемой модели шума H зависит от выбора Focus:

Focus является 'prediction' - Программное обеспечение минимизирует взвешенную ошибку предсказания $e_{f} (t) = ℒ (e_{p} (t))$ , и предполагаемая модель имеет вид:
$y (t) = G (q) u (t) + H_{1} (q) e (t)$
Где $H_{1} (q) = H (q) / ℒ (q)$ . Таким образом, оценка с особым вниманием предсказания создает смещенную оценку H. Это та же предполагаемая модель шума, которую вы получаете, если вы вместо этого сначала предварительно фильтруете данные оценки с $ℒ (.)$ использование idfilt, и затем оцените модель.
Когда H параметризируется независимо от G, можно обработать фильтр $ℒ (.)$ как способ влияния на распределение смещения оценки. То есть можно сформировать компромисс между подбором кривой G к частотной характеристике системы и подбором кривой $H / ℒ$ к спектру нарушения порядка при минимизации функции потерь. Для получения дополнительной информации смотрите, раздел 14.4 в Система Идентификации: Theory for the User, Second Edition, Lennart Ljung, Prentice Hall PTR, 1999.
Focus является 'simulation' - Программное обеспечение сначала оценивает G путем минимизации взвешенной ошибки симуляции $e_{f} (t) = ℒ (e_{s} (t))$ , где $e_{s} (t) = y_{m e a s u r e d} (t) - G (q) u_{m e a s u r e d} (t)$ . После оценки G программа исправляет его и вычисляет H путем минимизации чистых ошибок предсказания e (t) с использованием нефильтрованных данных. Предполагаемая модель имеет вид:
$y (t) = G (q) u (t) + H e (t)$
Если вы сначала предварительно фильтруете данные, а затем оцениваете модель, вы получаете ту же оценку для G, но получаете предвзятую модель шума $H / ℒ$ .

Таким образом, WeightingFilter имеет тот же эффект, что и предварительная фильтрация данных оценки для оценки G. Для оценки H, эффекта WeightingFilter зависит от выбора Focus. A предсказания особого внимания оценивает смещенную версию модели шума $H / ℒ$ , в то время как особое внимание симуляции оценивает H. Предварительная фильтрация данных оценки, а затем оценка модели всегда дает $H / ℒ$ как модель шума.

Метрики качества модели

После оценки модели используйте метрики качества модели, чтобы оценить качество идентифицированных моделей, сравнить различные модели и выбрать лучшую. The Report.Fit свойство идентифицированной модели хранит различные метрики, такие как FitPercent, LossFcn, FPE, MSE, AIC, nAIC, AICc, и BIC значения.

FitPercent, LossFcn, и MSE являются показателями фактической величины, которая минимизируется во время оценки. Для примера, если Focus является 'simulation'эти величины вычисляются для ошибки симуляции e s (t). Точно так же, если вы задаете WeightingFilter опция, затем LossFcn, FPE, и MSE вычисляются с использованием фильтрованных невязок e f (t).
FPE, AIC, nAIC, AICc, и BIC меры вычисляются как свойства выходного нарушения порядка в зависимости:
$y (t) = G (q) u (t) + H (q) e (t)$
G (q) и H (q) представляют измеренные и шумовые компоненты предполагаемой модели.
Независимо от того, как сконфигурирована функция потерь, вектор e ошибок (t) вычисляется как 1-ступенчатая ошибка предсказания с использованием заданной модели и заданного набора данных. Это подразумевает, что, даже когда модель получена путем минимизации ошибки симуляции _e s (t), FPE и различные значения AIC все еще вычисляются с использованием ошибки предсказания e p (t). Фактическое значение e p (t) определяется с помощью pe команда с горизонтом предсказания 1 и с использованием начальных условий, заданных для оценки.
Эти метрики содержат два термина - один для описания точности модели и другой для описания ее сложности. Для примера, в FPE, $d e t (\frac{1}{N} E^{T} E)$ описывает точность модели и $\frac{1 + \frac{n p}{N}}{1 - \frac{n p}{N}}$ описывает сложность модели.
Путем сравнения моделей с помощью этих критериев можно выбрать модель, которая дает лучший (наименьшее значение критерия) компромисс между точностью и сложностью.

Метрика качества	Описание
`FitPercent`	Нормированная средняя квадратичная невязка корня (NRMSE), выраженная в процентах, определяемых как: $F i t P e r c e n t = 100 (1 - \frac{‖ y_{m e a s u r e d} - y_{m o d e l} ‖}{‖ y_{m e a s u r e d} - \bar{y_{m e a s u r e d}} ‖})$ где: y _{измеренный} - это измеренные выходные данные. $\bar{y_{m e a s u r e d}}$ является его (канальным) средним. y _модель является моделируемой или предсказанной характеристикой модели, управляемой `Focus`. \|\|.\|\| указывает 2-норму вектора. `FitPercent` изменяется между `-Inf` (плохая подгонка) до 100 (идеальная подгонка). Если значение равно нулю, то модель не лучше подгоняет измеренные данные, чем прямая линия, равная среднему значению данных.
`LossFcn`	Значение функции потерь, когда оценка завершается. Он содержит эффекты порогов ошибок, выходного веса и регуляризации, используемые для оценки.
`MSE`	Средняя квадратичная невязка, заданная как: $M S E = \frac{1}{N} \sum_{t = 1}^{N} e^{T} (t) e (t)$ где: e (t) является сигналом, норма которого минимизирована для оценки. N - количество выборок данных в наборе данных оценки.
`FPE`	Окончательная ошибка предсказания (FPE) Акайке, заданная как: $F P E = d e t (\frac{1}{N} E^{T} E) (\frac{1 + \frac{n_{p}}{N}}{1 - \frac{n_{p}}{N}})$ где: _np - количество свободных параметров в модели. _np включает в себя количество предполагаемых начальных состояний. N - количество выборок в наборе данных оценки. E - N -by - ny матрица ошибок предсказания, где ny - количество выходных каналов.
`AIC`	Необработанная мера информационного критерия Акайке, определяемая как: $A I C = N * l o g (d e t (\frac{1}{N} E^{T} E)) + 2 * n_{p} + N (n_{y} * \log (2 π) + 1)$
`AICc`	Небольшой размер выборки исправил информационный критерий Акайке, заданный как: $A I C c = A I C + 2 * n_{p} * \frac{(n_{p} + 1)}{(N - n_{p} - 1)}$ Эта метрика часто более надежна для выбора модели оптимальной сложности из списка моделей-кандидатов, когда размер данных N небольшой.
`nAIC`	Нормированная мера информационного критерия Акайке, определяемая как: $n A I C = l o g (d e t (\frac{1}{N} E^{T} E)) + \frac{2 * n_{p}}{N}$
`BIC`	Байесовский информационный критерий, определяемый как: $B I C = N * l o g (d e t (\frac{1}{N} E^{T} E)) + N * (n_{y} * \log (2 π) + 1) + n_{p} * журнал (N)$

См. также

aic | fpe | goodnessOfFit | nparams | pe | predict | sim

Документация