Рекурсивные алгоритмы для онлайновой оценки параметра

Рекурсивные алгоритмы оценки в System Identification Toolbox™ могут быть разделены на две категории:

  • Алгоритмы истории Бога — Эти алгоритмы стремятся минимизировать ошибку между наблюдаемыми и предсказанными выходными сигналами, навсегда продвигается с начала симуляции. System Identification Toolbox поддерживает оценку бесконечной истории:

    • Рекурсивные средства оценки командной строки для линейной регрессии наименьших квадратов, AR, ARX, ARMA, ARMAX, OE и структур модели BJ

    • Simulink® Recursive Least Squares Estimator и блоки Recursive Polynomial Model Estimator

  • Алгоритмы конечной истории — Эти алгоритмы стремятся минимизировать ошибку между наблюдаемыми и предсказанными выходными сигналами для конечного числа прошлых временных шагов. Тулбокс поддерживает оценку конечной истории для линейных в параметрах моделей:

    • Рекурсивные средства оценки командной строки для линейной регрессии наименьших квадратов, AR, ARX и структур модели OE

    • Блок Simulink Recursive Least Squares Estimator

    • Блок Simulink Recursive Polynomial Model Estimator, для AR, ARX и структур OE только

    Алгоритмы конечной истории обычно легче настроить, чем алгоритмы бесконечной истории, когда параметры имеют быстрые и потенциально большие изменения в зависимости от времени.

Рекурсивная оценка истории Бога

Общая форма истории Бога рекурсивная оценка

Общая форма бесконечной истории рекурсивный алгоритм оценки следующие:

θ^(t)=θ^(t1)+K(t)(y(t)y^(t))

θ^(t) оценка параметра во время t. y (t), наблюдаемый выходной сигнал во время t, и y^(t) предсказание y (t) на основе наблюдений до времени t-1. Усиление, K (t), определяет сколько текущей ошибки предсказания y(t)y^(t) влияет на обновление оценки параметра. Алгоритмы оценки минимизируют остаточный член предсказания y(t)y^(t).

Усиление имеет следующую форму:

K(t)=Q(t)ψ(t)

Рекурсивные алгоритмы, поддержанные продуктом System Identification Toolbox, отличаются на основе разных подходов для выбора формы Q (t) и вычисление ψ(t). Здесь, ψ(t) представляет градиент предсказанного выхода модели y^(t|θ) относительно параметров θ.

Самый простой способ визуализировать роль градиента ψ(t) из параметров, должен рассмотреть модели с формой линейной регрессии:

y(t)=ψT(t)θ0(t)+e(t)

В этом уравнении, ψ(t) вектор регрессии, который вычисляется на основе предыдущих значений измеренных вводов и выводов. θ0(t) представляет истинные параметры. e (t) является источником шума (инновации), который принят, чтобы быть белым шумом. Определенная форма ψ(t) зависит от структуры полиномиальной модели.

Для уравнений линейной регрессии предсказанный выход дан следующим уравнением:

y^(t)=ψT(t)θ^(t1)

Для моделей, которые не имеют формы линейной регрессии, не возможно вычислить точно предсказанный выход и градиент ψ(t) для текущей оценки параметра θ^(t1). Изучить, как можно вычислить приближение для ψ(t) и θ^(t1) для общих структур модели смотрите раздел по рекурсивным методам ошибки предсказания в [1].

Типы истории Бога рекурсивные алгоритмы оценки

Программное обеспечение System Identification Toolbox предоставляет следующей бесконечной истории рекурсивные алгоритмы оценки для онлайновой оценки:

Фактор упущения и формулировки Фильтра Калмана более в вычислительном отношении интенсивны, чем градиент и ненормированные градиентные методы. Однако у них обычно есть лучшие свойства сходимости.

Упущение Фактора.  Следующая система уравнений обобщает забывающий факторный алгоритм адаптации:

θ^(t)=θ^(t1)+K(t)(y(t)y^(t))

y^(t)=ψT(t)θ^(t1)

K(t)=Q(t)ψ(t)

Q(t)=P(t1)λ+ψT(t)P(t1)ψ(t)

P(t)=1λ(P(t1)P(t1)ψ(t)ψ(t)TP(t1)λ+ψ(t)TP(t1)ψ(t))

Программное обеспечение гарантирует, что P(t) является положительно-определенной матрицей при помощи алгоритма квадратного корня, чтобы обновить его [2]. Программное обеспечение вычисляет P при предположении, что остаточные значения (различие между предполагаемыми и измеренными выходными параметрами) являются белым шумом, и отклонение этих остаточных значений равняется 1. R2 /2 P приблизительно равно ковариационной матрице предполагаемых параметров, где R2 является истинным отклонением остаточных значений.

Q (t) получен путем минимизации следующей функции во время t:

k=1tλtk(y(k)y^(k))2

Смотрите раздел 11.2 в [1] для деталей.

Этот подход обесценивает старые измерения, экспоненциально таким образом, что наблюдение, которое является τ старые переносы выборок вес, который равен λτ времена вес нового наблюдения. τ=11λ представляет горизонт памяти этого алгоритма. Измерения, более старые, чем τ=11λ обычно несите вес, который меньше приблизительно 0,3.

λ называется фактором упущения и обычно имеет положительное значение между 0.98 и 0.995Набор λ=1 оценить независимые от времени (постоянные) параметры. Набор λ<1 оценить изменяющиеся во времени параметры.

Примечание

Забывающий факторный алгоритм для λ = 1 эквивалентно алгоритму Фильтра Калмана с R1=0 и R2=1. Для получения дополнительной информации об алгоритме Фильтра Калмана, смотрите Фильтр Калмана.

Фильтр Калмана.  Следующая система уравнений обобщает алгоритм адаптации Фильтра Калмана:

θ^(t)=θ^(t1)+K(t)(y(t)y^(t))

y^(t)=ψT(t)θ^(t1)

K(t)=Q(t)ψ(t)

Q(t)=P(t1)R2+ψT(t)P(t1)ψ(t)

P(t)=P(t1)+R1P(t1)ψ(t)ψ(t)TP(t1)R2+ψ(t)TP(t1)ψ(t)

Программное обеспечение гарантирует, что P(t) является положительно-определенной матрицей при помощи алгоритма квадратного корня, чтобы обновить его [2]. Программное обеспечение вычисляет P при предположении, что остаточные значения (различие между предполагаемыми и измеренными выходными параметрами) являются белым шумом, и отклонение этих остаточных значений равняется 1. R2* P ковариационная матрица предполагаемых параметров, и R1/R2 является ковариационной матрицей изменений параметра. Где, R1 является ковариационной матрицей изменений параметра, которые вы задаете.

Эта формулировка принимает форму линейной регрессии модели:

y(t)=ψT(t)θ0(t)+e(t)

Q (t) вычисляется с помощью Фильтра Калмана.

Эта формулировка также принимает что истинные параметры θ0(t) описаны случайным обходом:

θ0(t)=θ0(t1)+w(t)

w (t) является Гауссовым белым шумом со следующей ковариационной матрицей или матрицей R1 дрейфа :

Ew(t)wT(t)=R1

R2 является отклонением инноваций e (t) в следующем уравнении:

y(t)=ψT(t)θ0(t)+e(t)

Алгоритм Фильтра Калмана полностью задан последовательностью данных y (t), градиент ψ(t), R1, R2 и начальные условия θ(t=0) (исходное предположение параметров) и P(t=0) (ковариационная матрица, которая указывает на ошибки параметров).

Примечание

Это принято, что R1 и P (t = 0) матрицы масштабируются таким образом что R2 = 1. Это масштабирование не влияет на оценки параметра.

Нормированный и Ненормированный Градиент.  В случае линейной регрессии градиентные методы также известны как методы наименьшее количество средних квадратичных (LMS).

Следующая система уравнений обобщает ненормированный градиент и нормированный алгоритм адаптации градиента:

θ^(t)=θ^(t1)+K(t)(y(t)y^(t))

y^(t)=ψT(t)θ^(t1)

K(t)=Q(t)ψ(t)

В ненормированном подходе градиента Q (t) дают:

Q(t)=γ

В нормированном подходе градиента Q (t) дают:

Q(t)=γ|ψ(t)|2+Bias

Нормированный алгоритм градиента масштабирует усиление адаптации, γ, на каждом шаге квадратом 2D нормы вектора градиента. Если градиент близко к нулю, это может вызвать скачки в предполагаемых параметрах. Чтобы предотвратить эти скачки, термин смещения вводится в масштабном коэффициенте.

Этот выбор Q (t) для алгоритмов градиента обновляет параметры в отрицательном направлении градиента, где градиент вычисляется относительно параметров. См. стр. 372 в [1] для деталей.

Рекурсивная оценка Конечной Истории

Методы оценки конечной истории находят, что параметр оценивает θ (t) путем минимизации

k=tN+1t(y(k)y^(k|θ))2,

где y (k) является наблюдаемым выходным сигналом во время k, и y^(k|θ) предсказанный выход во время k. Этот подход также известен как оценку раздвижного окна. Подходы оценки конечной истории минимизируют ошибки предсказания для последних временных шагов N. В отличие от этого методы оценки бесконечной истории минимизируют ошибки предсказания, запускающиеся с начала симуляции.

System Identification Toolbox поддерживает оценку конечной истории для линейных в параметрах моделей (AR, и ARX), где предсказано выведенный имеет форму y^(k|θ)=Ψ(k)θ(k1). Программное обеспечение создает и обеспечивает буфер регрессоров ψ (k) и наблюдало выходные параметры y (k) для k = t-N+1, t-N+2, …, t-2, t-1, t. Эти буферы содержат необходимые матрицы для базовой проблемы линейной регрессии минимизации Ψbufferθybuffer22 по θ. Программное обеспечение решает эту задачу линейной регрессии с помощью QR, учитывающего с поворотом столбца.

Ссылки

[1] Ljung, L. System Identification: теория для пользователя. Верхний Сэддл-Ривер, NJ: PTR Prentice Hall, 1999.

[2] Карлсон, N.A. "Быстро треугольная формулировка фильтра квадратного корня". Журнал AIAA, Издание 11, Номер 9, 1973, стр 1259-1265.

[3] Чжан, Q. "Некоторые Аспекты Реализации Алгоритмов Наименьших квадратов Раздвижного окна". Продолжения IFAC. Издание 33, Выпуск 15, 2000, стр 763-768.

Смотрите также

| | | | | | | |

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте