Рекурсивные алгоритмы для онлайновой оценки параметра

Рекурсивные алгоритмы оценки в System Identification Toolbox™ могут быть разделены на две категории:

Алгоритмы истории Бога — Эти алгоритмы стремятся минимизировать ошибку между наблюдаемыми и предсказанными выходными сигналами, навсегда продвигается с начала симуляции. System Identification Toolbox поддерживает оценку бесконечной истории:
- Рекурсивные средства оценки командной строки для линейной регрессии наименьших квадратов, AR, ARX, ARMA, ARMAX, OE и структур модели BJ
- Simulink^® Recursive Least Squares Estimator и Рекурсивные Полиномиальные Образцовые блоки Средства оценки
Алгоритмы конечной истории — Эти алгоритмы стремятся минимизировать ошибку между наблюдаемыми и предсказанными выходными сигналами для конечного числа прошлых временных шагов. Тулбокс поддерживает оценку конечной истории для линейных в параметрах моделей:
- Рекурсивные средства оценки командной строки для линейной регрессии наименьших квадратов, AR, ARX и структур модели OE
- Блок Simulink Recursive Least Squares Estimator
- Блок Simulink Recursive Polynomial Model Estimator, для AR, ARX и структур OE только
Алгоритмы конечной истории обычно легче настроить, чем алгоритмы бесконечной истории, когда параметры имеют быстрые и потенциально большие изменения в зависимости от времени.

Рекурсивная оценка истории Бога

Общая форма истории Бога рекурсивная оценка

Общая форма бесконечной истории рекурсивный алгоритм оценки следующие:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{θ} (t)$ оценка параметра во время t. y (t), наблюдаемый выходной сигнал во время t, и $\hat{y} (t)$ прогноз y (t) на основе наблюдений до времени t-1. Усиление, K (t), определяет сколько текущей ошибки прогноза $y (t) - \hat{y} (t)$ влияет на обновление оценки параметра. Алгоритмы оценки минимизируют остаточный член прогноза $y (t) - \hat{y} (t)$ .

Усиление имеет следующую форму:

$K (t) = Q (t) ψ (t)$

Рекурсивные алгоритмы, поддержанные продуктом System Identification Toolbox, отличаются на основе разных подходов для выбора формы Q (t) и вычисление $ψ (t)$ . Здесь, $ψ (t)$ представляет градиент предсказанного образцового вывода $\hat{y} (t | θ)$ относительно параметров $θ$ .

Самый простой способ визуализировать роль градиента $ψ (t)$ из параметров, должен рассмотреть модели с формой линейной регрессии:

$y (t) = ψ^{T} (t) θ_{0} (t) + e (t)$

В этом уравнении, $ψ (t)$ вектор регрессии, который вычисляется на основе предыдущих значений измеренных вводов и выводов. $θ_{0} (t)$ представляет истинные параметры. e (t) является источником шума (инновации), который принят, чтобы быть белым шумом. Определенная форма $ψ (t)$ зависит от структуры полиномиальной модели.

Для уравнений линейной регрессии предсказанный вывод дан следующим уравнением:

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

Для моделей, которые не имеют формы линейной регрессии, не возможно вычислить точно предсказанный вывод и градиент $ψ (t)$ для текущей оценки параметра $\hat{θ} (t - 1)$ . Изучить, как можно вычислить приближение для $ψ (t)$ и $\hat{θ} (t - 1)$ для общих образцовых структур смотрите раздел по рекурсивным методам ошибки прогноза в [1].

Типы истории Бога рекурсивные алгоритмы оценки

Программное обеспечение System Identification Toolbox предоставляет следующей бесконечной истории рекурсивные алгоритмы оценки для онлайновой оценки:

Фактор упущения и формулировки Фильтра Калмана более в вычислительном отношении интенсивны, чем градиент и ненормированные градиентные методы. Однако у них обычно есть лучшие свойства сходимости.

Упущение Фактора. Следующая система уравнений обобщает забывающий факторный алгоритм адаптации:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

$K (t) = Q (t) ψ (t)$

$Q (t) = \frac{P (t - 1)}{λ + ψ^{T} (t) P (t - 1) ψ (t)}$

$P (t) = \frac{1}{λ} (P (t - 1) - \frac{P (t - 1) ψ (t) ψ {(t)}^{T} P (t - 1)}{λ + ψ {(t)}^{T} P (t - 1) ψ (t)})$

Программное обеспечение гарантирует, что P(t) является положительно-определенной матрицей при помощи алгоритма квадратного корня, чтобы обновить его [2]. Программное обеспечение вычисляет P, принимающий, что невязки (различие между предполагаемыми и измеренными выходными параметрами) являются белым шумом, и отклонение этих невязок равняется 1. _R2 /2 * P приблизительно равен ковариационной матрице предполагаемых параметров, где _R2 является истинным отклонением невязок.

Q (t) получен путем минимизации следующей функции во время t:

$\sum_{k = 1}^{t} λ^{t - k} {(y (k) - \hat{y} (k))}^{2}$

Смотрите раздел 11.2 в [1] для деталей.

Этот подход обесценивает старые измерения, экспоненциально таким образом, что наблюдение, которое является $τ$ старые переносы выборок вес, который равен $λ^{τ}$ времена вес нового наблюдения. $τ = \frac{1}{1 - λ}$ представляет горизонт памяти этого алгоритма. Измерения, более старые, чем $τ = \frac{1}{1 - λ}$ обычно несите вес, который является меньше, чем приблизительно 0,3.

$λ$ называется фактором упущения и обычно имеет положительное значение между 0.98 и 0.995. Набор $λ = 1$ оценить независимые от времени (постоянные) параметры. Набор $λ < 1$ оценить изменяющиеся во времени параметры.

Примечание

Забывающий факторный алгоритм для $λ$ = 1 эквивалентно алгоритму Фильтра Калмана с R1=0 и R2=1. Для получения дополнительной информации об алгоритме Фильтра Калмана, смотрите Фильтр Калмана.

Фильтр Калмана. Следующая система уравнений обобщает алгоритм адаптации Фильтра Калмана:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

$K (t) = Q (t) ψ (t)$

$Q (t) = \frac{P (t - 1)}{R_{2} + ψ^{T} (t) P (t - 1) ψ (t)}$

$P (t) = P (t - 1) + R_{1} - \frac{P (t - 1) ψ (t) ψ {(t)}^{T} P (t - 1)}{R_{2} + ψ {(t)}^{T} P (t - 1) ψ (t)}$

Программное обеспечение гарантирует, что P(t) является положительно-определенной матрицей при помощи алгоритма квадратного корня, чтобы обновить его [2]. Программное обеспечение вычисляет P, принимающий, что невязки (различие между предполагаемыми и измеренными выходными параметрами) являются белым шумом, и отклонение этих невязок равняется 1. _R2* P является ковариационной матрицей предполагаемых параметров, и _R1/_R2 является ковариационной матрицей изменений параметра. Где, _R1 является ковариационной матрицей изменений параметра, которые вы задаете.

Эта формулировка принимает форму линейной регрессии модели:

$y (t) = ψ^{T} (t) θ_{0} (t) + e (t)$

Q (t) вычисляется с помощью Фильтра Калмана.

Эта формулировка также принимает что истинные параметры $θ_{0} (t)$ описаны случайным обходом:

$θ_{0} (t) = θ_{0} (t - 1) + w (t)$

w (t) является Гауссовым белым шумом со следующей ковариационной матрицей или матрицей R1 дрейфа :

$E w (t) w^{T} (t) = R_{1}$

R2 является отклонением инноваций e (t) в следующем уравнении:

$y (t) = ψ^{T} (t) θ_{0} (t) + e (t)$

Алгоритм Фильтра Калмана полностью задан последовательностью данных y (t), градиент $ψ (t)$ , R1, R2 и начальные условия $θ (t = 0)$ (исходное предположение параметров) и $P (t = 0)$ (ковариационная матрица, которая указывает на ошибки параметров).

Примечание

Это принято, что R1 и P (t = 0) матрицы масштабируются таким образом что R2 = 1. Это масштабирование не влияет на оценки параметра.

Нормированный и Ненормированный Градиент. В случае линейной регрессии градиентные методы также известны как методы наименьшее количество средних квадратичных (LMS).

Следующая система уравнений обобщает ненормированный градиент и нормированный алгоритм адаптации градиента:

$\hat{θ} (t) = \hat{θ} (t - 1) + K (t) (y (t) - \hat{y} (t))$

$\hat{y} (t) = ψ^{T} (t) \hat{θ} (t - 1)$

$K (t) = Q (t) ψ (t)$

В ненормированном подходе градиента Q (t) дают:

$Q (t) = γ$

В нормированном подходе градиента Q (t) дают:

$Q (t) = \frac{γ}{{| ψ (t) |}^{2} + B i a s}$

Нормированный алгоритм градиента масштабирует усиление адаптации, γ, на каждом шаге квадратом 2D нормы вектора градиента. Если градиент близко к нулю, это может вызвать скачки в предполагаемых параметрах. Чтобы предотвратить эти скачки, термин смещения вводится в масштабном коэффициенте.

Этот выбор Q (t) для алгоритмов градиента обновляет параметры в отрицательном направлении градиента, где градиент вычисляется относительно параметров. См. стр. 372 в [1] для деталей.

Рекурсивная оценка Конечной Истории

Методы оценки конечной истории находят, что параметр оценивает θ (t) путем минимизации

$\sum_{k = t - N + 1}^{t} {(y (k) - \hat{y} (k | θ))}^{2},$

где y (k) является наблюдаемым выходным сигналом во время k, и $\hat{y} (k | θ)$ предсказанный вывод во время k. Этот подход также известен как оценку раздвижного окна. Подходы оценки конечной истории минимизируют ошибки прогноза для последних временных шагов N. Напротив, методы оценки бесконечной истории минимизируют ошибки прогноза, запускающиеся с начала симуляции.

System Identification Toolbox поддерживает оценку конечной истории для линейных в параметрах моделей (AR, и ARX), где предсказано выведенный имеет форму $\hat{y} (k | θ) = Ψ (k) θ (k - 1)$ . Программное обеспечение создает и поддерживает буфер регрессоров ψ (k) и наблюдало выходные параметры y (k) для k = t-N+1, t-N+2, …, t-2, t-1, t. Эти буферы содержат необходимые матрицы для базовой проблемы линейной регрессии минимизации ${‖ Ψ_{b u f f e r} θ - y_{b u f f e r} ‖}_{}^{22}$ по θ. Программное обеспечение решает эту проблему линейной регрессии с помощью QR, учитывающего с поворотом столбца.

Ссылки

[1] Ljung, L. System Identification: теория для пользователя. Верхний Сэддл-Ривер, NJ: PTR Prentice Hall, 1999.

[2] Карлсон, N.A. "Быстро треугольная формулировка фильтра квадратного корня". Журнал AIAA, Издание 11, Номер 9, 1973, стр 1259-1265.

[3] Чжан, Q. "Некоторые Аспекты Реализации Алгоритмов Наименьших квадратов Раздвижного окна". Продолжения IFAC. Издание 33, Выпуск 15, 2000, стр 763-768.

Документация