Документация

Проектирование временных рядов NARX Обратная связь Нейронные сети

Чтобы увидеть примеры использования сетей NARX, применяемых в разомкнутый контур форме, системе с обратной связью и многостадийном предсказании без обратной связи, см. Multistep Neural Network Prediction.

Все конкретные динамические сети, обсуждавшиеся до сих пор, были либо сфокусированы на сетях, с динамикой только на вход слоя, либо сети прямого распространения. Нелинейная авторегрессивная сеть с экзогенными входами (NARX) является рекуррентной динамической сетью с соединениями обратной связи, охватывающими несколько слоев сети. Модель NARX основана на линейной модели ARX, которая обычно используется в моделировании timeseries.

Определяющее уравнение для модели NARX

где следующее значение зависимого выходного сигнала y (t) регрессировано на предыдущих значениях выходного сигнала и предыдущих значениях независимого (экзогенного) входного сигнала. Можно реализовать модель NARX с помощью нейронной сети с feedforward, чтобы аппроксимировать f функции. Схема получившейся сети показана ниже, где для приближения используется 2-х слойная сеть прямого распространения. Эта реализация также допускает векторную модель ARX, где вход и выход могут быть многомерными.

Существует много приложений для сети NARX. Он может использоваться как предиктор, чтобы предсказать следующее значение входного сигнала. Он также может использоваться для нелинейной фильтрации, в которой целевой выход является бесшумной версией входного сигнала. Использование сети NARX показано в другом важном приложении, моделировании нелинейных динамических систем.

Прежде чем показывать обучение сети NARX, важное строение, которая полезна в обучении, нуждается в объяснении. Можно считать выход сети NARX оценкой выхода некоторой нелинейной динамической системы, которую вы пытаетесь смоделировать. Выход подается назад на вход нейронной сети с feedforward как часть стандартной архитектуры NARX, как показано на левом рисунке ниже. Поскольку истинный выход доступен во время обучения сети, можно создать последовательную параллельную архитектуру (см. [NaPa91]), в которой истинный выход используется вместо обратной передачи предполагаемого выхода, как показано на правом рисунке ниже. Это имеет два преимущества. Первый заключается в том, что вход в сеть прямого распространения является более точным. Второе заключается в том, что получившаяся сеть имеет чистую архитектуру прямого распространения, и для обучения может использоваться статическое обратное распространение.

Ниже показано использование последовательной параллельной архитектуры для настройки сети NARX для моделирования динамической системы.

Примером сети NARX является система магнитной левитации, описанная начиная с использования блока NARMA-L2 Controller. Нижний график на следующем рисунке показывает напряжение, приложенное к электромагниту, а верхний график показывает положение постоянного магнита. Данные собирали с интервалом дискретизации 0,01 секунды, чтобы сформировать два временных рядов.

Цель состоит в том, чтобы разработать модель NARX для этой магнитной системы левитации.

Во-первых, загрузите обучающие данные. Используйте выделенные линии задержки с двумя задержками как для входа, так и для выхода, поэтому обучение начинается с третьей точки данных. Существует два входа в последовательно-параллельную сеть, u (t) последовательность и y (t) последовательность.

load magdata
y = con2seq(y);
u = con2seq(u);

Создайте последовательно параллельную сеть NARX с помощью функции narxnet. Используйте 10 нейронов в скрытом слое и используйте trainlm для функции обучения, а затем подготовьте данные с preparets:

d1 = [1:2];
d2 = [1:2];
narx_net = narxnet(d1,d2,10);
narx_net.divideFcn = '';
narx_net.trainParam.min_grad = 1e-10;
[p,Pi,Ai,t] = preparets(narx_net,u,{},y);

(Заметьте, что y последовательность рассматривается как сигнал обратной связи, который является входом, который также является выходом (целевым). Позже, когда вы закроете цикл, соответствующий выход будет подключен к соответствующему входу.) Теперь вы готовы обучать сеть.

narx_net = train(narx_net,p,t,Pi);

Теперь можно симулировать сеть и построить график получившихся ошибок для последовательной параллельной реализации.

yp = sim(narx_net,p,Pi);
e = cell2mat(yp)-cell2mat(t);
plot(e)

Можно увидеть, что ошибки очень маленькие. Однако из-за последовательного параллельного строения это ошибки только для предсказания с одним шагом вперед. Более строгим тестом было бы переставить сеть в исходную параллельную форму (замкнутый цикл), а затем выполнить итерационное предсказание на многих временных шагах. Теперь показана параллельная операция.

Существует функция тулбокса (closeloop) для преобразования сетей NARX (и других) из последовательно-параллельного строения (разомкнутого контура), которая полезна для обучения, в параллельное строение (замкнутый цикл), которая полезна для многоэтапного предсказания. Следующая команда иллюстрирует, как преобразовать сеть, которую вы только что обучили, в параллельную форму:

narx_net_closed = closeloop(narx_net);

Чтобы увидеть различия между двумя сетями, можно использовать команду view:

view(narx_net)

view(narx_net_closed)

Все обучение проводится в разомкнутом контуре (также называемом последовательно-параллельной архитектурой), включая шаги валидации и тестирования. Типичный рабочий процесс состоит в том, чтобы полностью создать сеть в разомкнутом контуре, и только когда она была обучена (которая включает шаги валидации и тестирования), она преобразуется в замкнутый цикл для многостадийного предсказания. Аналогично, R значения в графический интерфейс пользователя вычисляются на основе результатов обучения без разомкнутого контура.

Теперь можно использовать строение с обратной связью (параллельную), чтобы выполнить итерационное предсказание 900 временных шагов. В этой сети вам нужно загрузить два начальных входа и два начальных выхода в качестве начальных условий. Вы можете использовать preparets функция для подготовки данных. Он будет использовать структуру сети, чтобы определить, как разделить и сдвинуть данные соответствующим образом.

y1 = y(1700:2600);
u1 = u(1700:2600);
[p1,Pi1,Ai1,t1] = preparets(narx_net_closed,u1,{},y1);
yp1 = narx_net_closed(p1,Pi1,Ai1);
TS = size(t1,2);
plot(1:TS,cell2mat(t1),'b',1:TS,cell2mat(yp1),'r')

Рисунок иллюстрирует итерационное предсказание. Синяя линия является фактическим положением магнита, а красная - положением, предсказанным нейронной сетью NARX. Несмотря на то, что сеть предсказывает 900 временных шагов вперед, предсказание очень точно.

В порядок, чтобы параллельный ответ (итерационное предсказание) был точным, важно, чтобы сеть была обучена так, чтобы ошибки в последовательном параллельном строении (одноэтапное предсказание) были очень маленькими.

Можно также создать параллельную (закрытый цикл) сеть NARX, используя narxnet команда с четвертым входным параметром, установленным на 'closed', и обучите эту сеть непосредственно. Как правило, обучение занимает больше времени, и полученная эффективность не так хороша, как полученная при последовательной параллельной подготовке.

Каждый раз, когда нейронная сеть обучается, может привести к другому решению из-за различных начальных значений веса и смещения и различных делений данных в наборы для обучения, валидации и тестирования. В результате различные нейронные сети, обученные одной и той же задаче, могут выдавать различные выходы для одного и того же входа. Чтобы убедиться, что нейронная сеть с хорошей точностью была найдена, переобучите несколько раз.

Существует несколько других методов улучшения начальных решений, если желательна более высокая точность. Для получения дополнительной информации см. «Улучшение обобщения неглубокой нейронной сети» и «Избегайте избыточного оснащения».

[X,T] = ph_dataset;

net = narxnet(10);
[x,xi,ai,t] = preparets(net,X,{},T);
net = train(net,x,t,xi,ai);
y = net(x,xi,ai);
e = gsubtract(t,y);