Рекурсивные алгоритмы для онлайновой оценки параметра

Рекурсивные алгоритмы оценки в System Identification Toolbox™ могут быть разделены на две категории:

Алгоритмы истории Бога — Эти алгоритмы стремятся минимизировать ошибку между наблюдаемыми и предсказанными выходными сигналами, навсегда продвигается с начала симуляции. System Identification Toolbox поддерживает оценку бесконечной истории:
- Рекурсивные средства оценки командной строки для линейной регрессии наименьших квадратов, AR, ARX, ARMA, ARMAX, OE и структур модели BJ
- Simulink^® Recursive Least Squares Estimator и блоки Recursive Polynomial Model Estimator
Алгоритмы конечной истории — Эти алгоритмы стремятся минимизировать ошибку между наблюдаемыми и предсказанными выходными сигналами для конечного числа прошлых временных шагов. Тулбокс поддерживает оценку конечной истории для линейных в параметрах моделей:
- Рекурсивные средства оценки командной строки для линейной регрессии наименьших квадратов, AR, ARX и структур модели OE
- Блок Simulink Recursive Least Squares Estimator
- Блок Simulink Recursive Polynomial Model Estimator, для AR, ARX и структур OE только
Алгоритмы конечной истории обычно легче настроить, чем алгоритмы бесконечной истории, когда параметры имеют быстрые и потенциально большие изменения в зависимости от времени.

Рекурсивная оценка истории Бога

Общая форма истории Бога рекурсивная оценка

Общая форма бесконечной истории рекурсивный алгоритм оценки следующие:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{θ} (t)$ оценка параметра во время t. y (t), наблюдаемый выходной сигнал во время t, и $\hat{y} (t)$ предсказание y (t) на основе наблюдений до времени t-1. Усиление, K (t), определяет сколько текущей ошибки предсказания $y (t) - \hat{y} (t)$ влияет на обновление оценки параметра. Алгоритмы оценки минимизируют остаточный член предсказания $y (t) - \hat{y} (t)$ .

Усиление имеет следующую форму:

$K (t) = Q (t) ψ (t)$

Рекурсивные алгоритмы, поддержанные продуктом System Identification Toolbox, отличаются на основе разных подходов для выбора формы Q (t) и вычисление $ψ (t)$ . Здесь, $ψ (t)$ представляет градиент предсказанного выхода модели $\hat{y} (t | θ)$ относительно параметров $θ$ .

Самый простой способ визуализировать роль градиента $ψ (t)$ из параметров, должен рассмотреть модели с формой линейной регрессии:

$y (t) = ψ^{T} (t) θ_{0} (t) + e (t)$

В этом уравнении, $ψ (t)$ вектор регрессии, который вычисляется на основе предыдущих значений измеренных вводов и выводов. $θ_{0} (t)$ представляет истинные параметры. e (t) является источником шума (инновации), который принят, чтобы быть белым шумом. Определенная форма $ψ (t)$ зависит от структуры полиномиальной модели.

Для уравнений линейной регрессии предсказанный выход дан следующим уравнением:

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

Для моделей, которые не имеют формы линейной регрессии, не возможно вычислить точно предсказанный выход и градиент $ψ (t)$ для текущей оценки параметра $\hat{θ} (t - 1)$ . Изучить, как можно вычислить приближение для $ψ (t)$ и $\hat{θ} (t - 1)$ для общих структур модели смотрите раздел по рекурсивным методам ошибки предсказания в [1].

Типы истории Бога рекурсивные алгоритмы оценки

Программное обеспечение System Identification Toolbox предоставляет следующей бесконечной истории рекурсивные алгоритмы оценки для онлайновой оценки:

Фактор упущения и формулировки Фильтра Калмана более в вычислительном отношении интенсивны, чем градиент и ненормированные градиентные методы. Однако у них обычно есть лучшие свойства сходимости.

Упущение Фактора. Следующая система уравнений обобщает забывающий факторный алгоритм адаптации:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

$K (t) = Q (t) ψ (t)$

$Q (t) = \frac{P (t - 1)}{λ + ψ^{T} (t) P (t - 1) ψ (t)}$

$P (t) = \frac{1}{λ} (P (t - 1) - \frac{P (t - 1) ψ (t) ψ {(t)}^{T} P (t - 1)}{λ + ψ {(t)}^{T} P (t - 1) ψ (t)})$

Программное обеспечение гарантирует, что P(t) является положительно-определенной матрицей при помощи алгоритма квадратного корня, чтобы обновить его [2]. Программное обеспечение вычисляет P при предположении, что остаточные значения (различие между предполагаемыми и измеренными выходными параметрами) являются белым шумом, и отклонение этих остаточных значений равняется 1. _R2 /2 P приблизительно равно ковариационной матрице предполагаемых параметров, где _R2 является истинным отклонением остаточных значений.

Q (t) получен путем минимизации следующей функции во время t:

$\sum_{k = 1}^{t} λ^{t - k} {(y (k) - \hat{y} (k))}^{2}$

Смотрите раздел 11.2 в [1] для деталей.

Этот подход обесценивает старые измерения, экспоненциально таким образом, что наблюдение, которое является $τ$ старые переносы выборок вес, который равен $λ^{τ}$ времена вес нового наблюдения. $τ = \frac{1}{1 - λ}$ представляет горизонт памяти этого алгоритма. Измерения, более старые, чем $τ = \frac{1}{1 - λ}$ обычно несите вес, который меньше приблизительно 0,3.

$λ$ называется фактором упущения и обычно имеет положительное значение между 0.98 и 0.995Набор $λ = 1$ оценить независимые от времени (постоянные) параметры. Набор $λ < 1$ оценить изменяющиеся во времени параметры.

Примечание

Забывающий факторный алгоритм для $λ$ = 1 эквивалентно алгоритму Фильтра Калмана с R1=0 и R2=1. Для получения дополнительной информации об алгоритме Фильтра Калмана, смотрите Фильтр Калмана.

Фильтр Калмана. Следующая система уравнений обобщает алгоритм адаптации Фильтра Калмана:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

$K (t) = Q (t) ψ (t)$

$Q (t) = \frac{P (t - 1)}{R_{2} + ψ^{T} (t) P (t - 1) ψ (t)}$

$P (t) = P (t - 1) + R_{1} - \frac{P (t - 1) ψ (t) ψ {(t)}^{T} P (t - 1)}{R_{2} + ψ {(t)}^{T} P (t - 1) ψ (t)}$

Программное обеспечение гарантирует, что P(t) является положительно-определенной матрицей при помощи алгоритма квадратного корня, чтобы обновить его [2]. Программное обеспечение вычисляет P при предположении, что остаточные значения (различие между предполагаемыми и измеренными выходными параметрами) являются белым шумом, и отклонение этих остаточных значений равняется 1. _R2* P ковариационная матрица предполагаемых параметров, и _R1/_R2 является ковариационной матрицей изменений параметра. Где, _R1 является ковариационной матрицей изменений параметра, которые вы задаете.

Эта формулировка принимает форму линейной регрессии модели:

$y (t) = ψ^{T} (t) θ_{0} (t) + e (t)$

Q (t) вычисляется с помощью Фильтра Калмана.

Эта формулировка также принимает что истинные параметры $θ_{0} (t)$ описаны случайным обходом:

$θ_{0} (t) = θ_{0} (t - 1) + w (t)$

w (t) является Гауссовым белым шумом со следующей ковариационной матрицей или матрицей R1 дрейфа :

$E w (t) w^{T} (t) = R_{1}$

R2 является отклонением инноваций e (t) в следующем уравнении:

$y (t) = ψ^{T} (t) θ_{0} (t) + e (t)$

Алгоритм Фильтра Калмана полностью задан последовательностью данных y (t), градиент $ψ (t)$ , R1, R2 и начальные условия $θ (t = 0)$ (исходное предположение параметров) и $P (t = 0)$ (ковариационная матрица, которая указывает на ошибки параметров).

Примечание

Это принято, что R1 и P (t = 0) матрицы масштабируются таким образом что R2 = 1. Это масштабирование не влияет на оценки параметра.

Нормированный и Ненормированный Градиент. В случае линейной регрессии градиентные методы также известны как методы наименьшее количество средних квадратичных (LMS).

Следующая система уравнений обобщает ненормированный градиент и нормированный алгоритм адаптации градиента:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

$K (t) = Q (t) ψ (t)$

В ненормированном подходе градиента Q (t) дают:

$Q (t) = γ$

В нормированном подходе градиента Q (t) дают:

$Q (t) = \frac{γ}{{| ψ (t) |}^{2} + B i a s}$

Нормированный алгоритм градиента масштабирует усиление адаптации, γ, на каждом шаге квадратом 2D нормы вектора градиента. Если градиент близко к нулю, это может вызвать скачки в предполагаемых параметрах. Чтобы предотвратить эти скачки, термин смещения вводится в масштабном коэффициенте.

Этот выбор Q (t) для алгоритмов градиента обновляет параметры в отрицательном направлении градиента, где градиент вычисляется относительно параметров. См. стр. 372 в [1] для деталей.

Рекурсивная оценка Конечной Истории

Методы оценки конечной истории находят, что параметр оценивает θ (t) путем минимизации

$\sum_{k = t - N + 1}^{t} {(y (k) - \hat{y} (k | θ))}^{2},$

где y (k) является наблюдаемым выходным сигналом во время k, и $\hat{y} (k | θ)$ предсказанный выход во время k. Этот подход также известен как оценку раздвижного окна. Подходы оценки конечной истории минимизируют ошибки предсказания для последних временных шагов N. В отличие от этого методы оценки бесконечной истории минимизируют ошибки предсказания, запускающиеся с начала симуляции.

System Identification Toolbox поддерживает оценку конечной истории для линейных в параметрах моделей (AR, и ARX), где предсказано выведенный имеет форму $\hat{y} (k | θ) = Ψ (k) θ (k - 1)$ . Программное обеспечение создает и обеспечивает буфер регрессоров ψ (k) и наблюдало выходные параметры y (k) для k = t-N+1, t-N+2, …, t-2, t-1, t. Эти буферы содержат необходимые матрицы для базовой проблемы линейной регрессии минимизации ${‖ Ψ_{b u f f e r} θ - y_{b u f f e r} ‖}_{2}^{2}$ по θ. Программное обеспечение решает эту задачу линейной регрессии с помощью QR, учитывающего с поворотом столбца.

Ссылки

[1] Ljung, L. System Identification: теория для пользователя. Верхний Сэддл-Ривер, NJ: PTR Prentice Hall, 1999.

[2] Карлсон, N.A. "Быстро треугольная формулировка фильтра квадратного корня". Журнал AIAA, Издание 11, Номер 9, 1973, стр 1259-1265.

[3] Чжан, Q. "Некоторые Аспекты Реализации Алгоритмов Наименьших квадратов Раздвижного окна". Продолжения IFAC. Издание 33, Выпуск 15, 2000, стр 763-768.

Документация