Документация

Откройте использование приложения Временных рядов Нейронной сети ntstool.

ntstool

Заметьте, что эта вводная панель отличается, чем вводные панели для других графический интерфейсов пользователя. Это вызвано тем, что ntstool может использоваться, чтобы решить три различных видов проблем временных рядов.

В данном примере выберите модель NARX и нажмите Далее, чтобы продолжить.

Нажмите Load Example Data Set в окне Select Data. Окно Time Series Data Set Chooser открывается.

Выберите Процесс Нейтрализации pH и нажмите Import. Это возвращает вас в окно Select Data.

Нажмите Далее, чтобы открыть окно Validation и Test Data, показанное в следующем рисунке.

Валидация и наборы тестовых данных каждый установлены в 15% исходных данных.

С этими настройками входные векторы и целевые векторы будут случайным образом разделены на три набора можно следующим образом:

(См. “Деление Данных” для большего количества обсуждения процесса деления данных.)

Нажать Далее.

Стандартная сеть NARX является 2-х слойной сетью прямого распространения с сигмоидальной передаточной функцией в скрытом слое и линейной передаточной функцией в выходном слое. Эта сеть также использует коснувшиеся линии задержки, чтобы сохранить предыдущие значения x (t) и y (t) последовательности. Обратите внимание на то, что выход сети NARX, y (t), возвращен к входу сети (через задержки), поскольку y (t) является функцией y (t – 1), y (t – 2)..., y (t – d). Однако для эффективного обучения эта обратная связь может быть открыта.

Поскольку истинный выход доступен во время обучения сети, можно использовать архитектуру разомкнутого контура, показанную выше, в котором истинный выход используется вместо того, чтобы возвратить предполагаемый выход. Это имеет два преимущества. Прежде всего, вход к сети прямого распространения более точен. Второе - то, что получившаяся сеть имеет чистую архитектуру прямого распространения, и поэтому более эффективный алгоритм может использоваться для обучения. Эта сеть обсуждена более подробно в “Сети NARX” (narxnet, closeloop).

Номер по умолчанию скрытых нейронов определяется к 10. Количество по умолчанию задержек равняется 2. Измените это значение в 4. Вы можете хотеть настроить эти числа, если сетевая производительность обучения плоха.

Нажать Далее.

Выберите алгоритм настройки, затем нажмите Train. Levenberg-Marquardt (trainlm) рекомендуется для большинства проблем, но для некоторых шумных и небольших проблем Байесова Регуляризация (trainbr) может занять больше времени, но получить лучшее решение. Для больших проблем, однако, Масштабированный Метод сопряженных градиентов (trainscg) рекомендуется, когда это использует вычисления градиента, которые используют память более эффективно, чем вычисления Якобиана другие два использования алгоритмов. Этот пример использует Levenberg-Marquardt по умолчанию.

Обучение продолжается до тех пор, пока ошибка проверки не перестанет уменьшаться в течение шести итераций (остановка валидации).

В соответствии с Графиками, нажмите Error Autocorrelation. Это используется, чтобы подтвердить производительность сети.

Следующий график отображает автокорреляционную функцию ошибки. Это описывает, как ошибки предсказания связаны во времени. Для совершенной модели предсказания должно только быть одно ненулевое значение автокорреляционной функции, и это должно произойти в нулевой задержке. (Это - среднеквадратичная погрешность.) Это означало бы, что ошибки предсказания были абсолютно некоррелироваными друг с другом (белый шум). Если бы была значительная корреляция по ошибкам предсказания, то должно быть возможно улучшить предсказание - возможно, путем увеличения числа задержек коснувшихся линий задержки. В этом случае корреляции, за исключением той в нулевой задержке, падают приблизительно в 95% пределов достоверности вокруг нуля, таким образом, модель, кажется, соответствует. Если бы еще более точные результаты требовались, вы могли бы переобучить сеть путем нажатия на Retrain в ntstool. Это изменит начальные веса и смещения сети, и может произвести улучшенную сеть после переобучения.

Просмотрите функцию взаимной корреляции входной ошибки, чтобы получить дополнительную верификацию производительности сети. Под панелью Графиков нажмите Input-Error Cross-correlation.

Эта функция взаимной корреляции входной ошибки иллюстрирует, как ошибки коррелируются с входной последовательностью x (t). Для совершенной модели предсказания все корреляции должны быть нулем. Если вход коррелируется с ошибкой, то должно быть возможно улучшить предсказание, возможно, путем увеличения числа задержек коснувшихся линий задержки. В этом случае все корреляции находятся в пределах доверительных границ вокруг нуля.

В соответствии с Графиками, нажмите Time Series Response. Это отображает входные параметры, цели и ошибки по сравнению со временем. Это также указывает, какие моменты времени были выбраны для обучения, тестирования и валидации.

Нажмите Далее в Приложении Временных рядов Нейронной сети, чтобы оценить сеть.

На данном этапе можно протестировать сеть против новых данных.

Если вы неудовлетворены эффективностью сети на исходных или новых данных, можно сделать любое следующее:

Если эффективность на наборе обучающих данных хороша, но эффективность набора тестов значительно хуже, который мог указать на сверхподбор кривой, то сокращение количества нейронов может улучшить ваши результаты.

Если вы удовлетворены производительностью сети, нажимаете Далее.

Используйте эту панель, чтобы сгенерировать функцию MATLAB или схему Simulink^® для симуляции вашей нейронной сети. Можно использовать сгенерированный код или схематически изобразить, чтобы лучше изучить, как нейронная сеть вычисляет выходные параметры из входных параметров, или разверните сеть с инструментами MATLAB Compiler™ и другим MATLAB и инструментами генерации кода Simulink.

Используйте кнопки на этом экране, чтобы сгенерировать скрипты или сохранить ваши результаты.

После создания кода MATLAB и сохранения ваших результатов, нажмите Finish.

Скрипт принимает, что входные векторы и целевые векторы уже загружаются в рабочую область. Если данные не загружаются, можно загрузить их можно следующим образом:

load ph_dataset
inputSeries = phInputs;
targetSeries = phTargets;

Создайте сеть. Сеть NARX, narxnet, сеть прямого распространения с коричнево-сигмоидальной передаточной функцией по умолчанию в скрытом слое и линейной передаточной функцией в выходном слое. Эта сеть имеет два входных параметров. Каждый - внешний вход, и другой связь обратной связи от сетевого выхода. (После того, как сеть была обучена, эта связь обратной связи может быть закрыта, как вы будете видеть на более позднем шаге.) Для каждых из этих входных параметров, существует коснувшаяся линия задержки, чтобы сохранить предыдущие значения. Чтобы присвоить сетевую архитектуру для сети NARX, необходимо выбрать задержки, сопоставленные с каждой коснувшейся линией задержки, и также количеством нейронов скрытого слоя. В следующих шагах вы присваиваете входные задержки и задержки обратной связи, чтобы лежать в диапазоне от 1 до 4 и количество скрытых нейронов, чтобы быть 10.

inputDelays = 1:4;
feedbackDelays = 1:4;
hiddenLayerSize = 10;
net = narxnet(inputDelays,feedbackDelays,hiddenLayerSize);

Подготовьте данные к обучению. Когда обучение сеть, содержащая коснувшиеся линии задержки, необходимо заполнить задержки начальными значениями вводов и выводов сети. Существует команда тулбокса, которая упрощает этот процесс - preparets. Эта функция имеет три входных параметра: сеть, входная последовательность и целевая последовательность. Функция возвращает начальные условия, которые необходимы, чтобы заполнить коснувшиеся линии задержки в сети, и измененный вход и целевые последовательности, куда начальные условия были удалены. Можно вызвать функцию можно следующим образом:

[inputs,inputStates,layerStates,targets] = ...
    preparets(net,inputSeries,{},targetSeries);

Создайте деление данных.

net.divideParam.trainRatio = 70/100;
net.divideParam.valRatio   = 15/100;
net.divideParam.testRatio  = 15/100;

С этими настройками входные векторы и целевые векторы будут случайным образом разделены, с 70%, используемыми для обучения, 15% для валидации и 15% для тестирования.

Обучите сеть. Сеть использует алгоритм Levenberg-Marquardt по умолчанию (trainlm) для обучения. Для проблем, в которых Levenberg-Marquardt не производит, когда точные результаты, как желаемый, или для больших проблем данных, рассматривают установку сетевой учебной функции к Байесовой Регуляризации (trainbr) или масштабированный метод сопряженных градиентов (trainscg), соответственно, с также

net.trainFcn = 'trainbr';
net.trainFcn = 'trainscg';

Обучать сеть, введите:

[net,tr] = train(net,inputs,targets,inputStates,layerStates);

Во время обучения открывается следующее учебное окно. Это окно отображает прогресс обучения и позволяет вам прерывать обучение в любой точке путем нажатия на Stop Training.

Это обучение остановилось, когда ошибка валидации увеличилась для шести итераций, которые произошли в итерации 44.

Протестируйте сеть. После того, как сеть была обучена, можно использовать ее, чтобы вычислить сетевые выходные параметры. Следующий код вычисляет сетевые выходные параметры, ошибки и общую производительность. Обратите внимание на то, что, чтобы симулировать сеть с коснувшимися линиями задержки, необходимо присвоить начальные значения для этих задержанных сигналов. Это сделано с inputStates и layerStates если preparets в более ранней стадии.

outputs = net(inputs,inputStates,layerStates);
errors = gsubtract(targets,outputs);
performance = perform(net,targets,outputs)

performance =

    0.0042

Просмотрите сетевой график.

view(net)

Постройте запись обучения эффективности, чтобы проверять на потенциальный сверхподбор кривой.

figure, plotperform(tr)

Этот рисунок показывает что обучение и ошибочное уменьшение валидации до подсвеченной эпохи. Не кажется, что любой сверхподбор кривой произошел, потому что ошибка валидации не увеличивается перед этой эпохой.

Все обучение сделано в разомкнутом контуре (также названный последовательно-параллельной архитектурой), включая валидацию и тестирующие шаги. Типичный рабочий процесс должен полностью создать сеть в разомкнутом контуре, и только когда это было обучено (который включает валидацию, и тестирующие шаги) преобразованный к замкнутому циклу для многоступенчатого вперед предсказания. Аналогично, R значения в графический интерфейсе пользователя вычисляются на основе результатов обучения разомкнутого контура.

Замкните круг в сети NARX. Когда обратная связь открыта в сети NARX, она выполняет предсказание "один шаг вперед". Это предсказывает следующее значение y (t) от предыдущих значений y (t) и x (t). С закрытой обратной связью это может использоваться, чтобы выполнить многоступенчатые вперед предсказания. Это вызвано тем, что предсказания y (t) будут использоваться вместо фактических будущих значений y (t). Следующие команды могут использоваться, чтобы замкнуть круг и вычислить эффективность с обратной связью

netc = closeloop(net);
netc.name = [net.name ' - Closed Loop'];
view(netc)
[xc,xic,aic,tc] = preparets(netc,inputSeries,{},targetSeries);
yc = netc(xc,xic,aic);
perfc = perform(netc,tc,yc)

perfc =

    2.8744

Удалите задержку из сети, чтобы получить предсказание один временной шаг рано.

nets = removedelay(net);
nets.name = [net.name ' - Predict One Step Ahead'];
view(nets)
[xs,xis,ais,ts] = preparets(nets,inputSeries,{},targetSeries);
ys = nets(xs,xis,ais);
earlyPredictPerformance = perform(nets,ts,ys)

earlyPredictPerformance =

    0.0042

От этого рисунка вы видите, что сеть идентична предыдущей сети разомкнутого контура, за исключением того, что одна задержка была удалена из каждой из коснувшихся линий задержки. Выходом сети является затем y (t + 1) вместо y (t). Это может иногда быть полезно, когда сеть развертывается для определенных приложений.