Создайте среду линейной системы

Среда обучения с подкреплением для этого примера является линейной системой дискретного времени. Движущими силами для системы дают

Закон об управлении с обратной связью

Цель управления состоит в том, чтобы минимизировать квадратичную стоимость: $\mathit{J}={\sum }_{\mathit{t}=0}^{\infty }({{\mathit{x}}_{\mathit{t}}}^{\prime }{\mathit{Qx}}_{\mathit{t}}+{{\mathit{u}}_{\mathit{t}}}^{\prime }{\mathit{Ru}}_{\mathit{t}})$.

В этом примере системные матрицы

A = [1.05,0.05,0.05;0.05,1.05,0.05;0,0.05,1.05];
B = [0.1,0,0.2;0.1,0.5,0;0,0,0.5]; 

Квадратичные матрицы стоимости:

Q = [10,3,1;3,5,4;1,4,9]; 
R = 0.5*eye(3);

Для этой среды, вознаграждения во время $\mathit{t}$ дают $$r_t=-x_t^{\prime }Q{x}_t-u_t^{\prime }R{u}_t$$, который является отрицанием квадратичной стоимости. Поэтому максимизация вознаграждения минимизирует стоимость. Начальные условия установлены случайным образом функцией сброса.

Создайте интерфейс среды MATLAB для этой линейной системы и вознаграждения. myDiscreteEnv функция создает среду путем определения пользовательского step и reset функции. Для получения дополнительной информации о создании такой пользовательской среды смотрите, Создают Среду MATLAB Используя Пользовательские Функции.

env = myDiscreteEnv(A,B,Q,R);

Для повторяемости результатов зафиксируйте начальное значение генератора случайных чисел.

rng(0)

Создайте пользовательского агента LQR

Для проблемы LQR, Q-функции для данного усиления контроля $\mathit{K}$ может быть задан как ${\mathit{Q}}_{\mathit{K}}\left(\mathit{x},\mathit{u}\right)={\left[\begin{array}{c}\mathit{x}\\ \mathit{u}\end{array}\right]}^{\prime }{\mathit{H}}_{\mathit{K}}\left[\begin{array}{c}\mathit{x}\\ \mathit{u}\end{array}\right]$, где ${\mathit{H}}_{\mathit{K}}=\left[\begin{array}{cc}{\mathit{H}}_{\mathrm{xx}}& {\mathit{H}}_{\mathrm{xu}}\\ {\mathit{H}}_{\mathrm{ux}}& {\mathit{H}}_{\mathrm{uu}}\end{array}\right]$ симметричная, положительная определенная матрица.

Закон о надзоре, чтобы максимизировать ${\mathit{Q}}_{\mathit{K}}$ $\mathit{u}=-{\left({\mathit{H}}_{\mathrm{uu}}\right)}^{-1}{\mathit{H}}_{\mathrm{ux}}\mathit{x}$, и усиление обратной связи ${\mathit{K}=\left({\mathit{H}}_{\mathrm{uu}}\right)}^{-1}{\mathit{H}}_{\mathrm{ux}}$.

Матрица ${\mathit{H}}_{\mathit{K}}$ содержит $\mathit{m}=\frac{1}{2}\mathit{n}\left(\mathit{n}+1\right)$ отличные значения элемента, где $\mathit{n}$ сумма количества состояний и количества входных параметров. Обозначить $\theta$ как вектор, соответствующий им $\mathit{m}$ элементы, где недиагональные элементы в ${\mathit{H}}_{\mathit{K}}$ умножаются на два.

Представляйте Q-функцию $\theta$, где $\theta$ содержит параметры, которые будут изучены.

${\mathit{Q}}_{\mathit{K}}\left(\mathit{x},\mathit{u}\right)={\theta }^{\prime }\left(\mathit{K}\right)\varphi \left(\mathit{x},\mathit{u}\right)$, где $\varphi \left(\mathit{x},\mathit{u}\right)$ квадратичная основная функция в терминах $\mathit{x}$ и $\mathit{u}$.

Агент LQR запускается со стабилизировавшегося контроллера ${\mathit{K}}_0$. Чтобы получить начальный контроллер стабилизации, поместите полюса системы с обратной связью $\mathit{A}-{\mathit{BK}}_0$ в модульном кругу.

K0 = place(A,B,[0.4,0.8,0.5]);

Чтобы создать пользовательского агента, необходимо создать подкласс rl.agent.CustomAgent абстрактный класс. Для пользовательского агента LQR заданным пользовательским подклассом является LQRCustomAgent. Для получения дополнительной информации смотрите Пользовательских Агентов. Создайте пользовательское использование агента LQR $\mathit{Q}$, $\mathit{R}$, и ${\mathit{K}}_0$. Агент не запрашивает информацию на системных матрицах $\mathit{A}$ и $\mathit{B}$.

agent = LQRCustomAgent(Q,R,K0);

В данном примере установите коэффициент дисконтирования агента на один. Чтобы использовать обесцененное будущее вознаграждение, установите коэффициент дисконтирования на значение меньше чем один.

agent.Gamma = 1;

Поскольку линейная система имеет три состояния и три входных параметров, общее количество настраиваемых параметров $\mathit{m}=21$. Чтобы гарантировать удовлетворительную эффективность агента, определите номер оценок параметра ${\mathit{N}}_{\mathit{p}}$ быть больше дважды количества настраиваемых параметров. В этом примере значение ${\mathit{N}}_{\mathit{p}}=45$.

agent.EstimateNum = 45;

Получить хорошую оценку заканчивается для $\theta$, необходимо применить постоянно взволнованную модель исследования к системе. В этом примере поощрите исследование модели путем добавления белого шума в контроллер выход: ${\mathit{u}}_{\mathit{t}}=-{\mathit{Kx}}_{\mathit{t}}+{\mathit{e}}_{\mathit{t}}$. В общем случае модель исследования зависит от системных моделей.

Обучите агента

Чтобы обучить агента, сначала задайте опции обучения. В данном примере используйте следующие опции.

Для получения дополнительной информации смотрите rlTrainingOptions.

trainingOpts = rlTrainingOptions(...
    'MaxEpisodes',10, ...
    'MaxStepsPerEpisode',50, ...
    'Verbose',true, ...
    'Plots','none');

Обучите агента с помощью train функция.

trainingStats = train(agent,env,trainingOpts);

Episode:   1/ 10 | Episode Reward : -55.16 | Episode Steps:   50 | Avg Reward : -55.16 | Step Count : 50
Episode:   2/ 10 | Episode Reward : -12.52 | Episode Steps:   50 | Avg Reward : -33.84 | Step Count : 100
Episode:   3/ 10 | Episode Reward : -15.59 | Episode Steps:   50 | Avg Reward : -27.76 | Step Count : 150
Episode:   4/ 10 | Episode Reward : -22.22 | Episode Steps:   50 | Avg Reward : -26.37 | Step Count : 200
Episode:   5/ 10 | Episode Reward : -14.32 | Episode Steps:   50 | Avg Reward : -23.96 | Step Count : 250
Episode:   6/ 10 | Episode Reward : -19.23 | Episode Steps:   50 | Avg Reward : -16.78 | Step Count : 300
Episode:   7/ 10 | Episode Reward : -34.14 | Episode Steps:   50 | Avg Reward : -21.10 | Step Count : 350
Episode:   8/ 10 | Episode Reward : -13.95 | Episode Steps:   50 | Avg Reward : -20.77 | Step Count : 400
Episode:   9/ 10 | Episode Reward : -36.01 | Episode Steps:   50 | Avg Reward : -23.53 | Step Count : 450
Episode:  10/ 10 | Episode Reward : -12.43 | Episode Steps:   50 | Avg Reward : -23.15 | Step Count : 500

Симулируйте агента и сравните с оптимальным решением

Чтобы подтвердить производительность обученного агента, симулируйте его в среде MATLAB. Для получения дополнительной информации о симуляции агента смотрите rlSimulationOptions и sim.

simOptions = rlSimulationOptions('MaxSteps',20);
experience = sim(env,agent,simOptions);
totalReward = sum(experience.Reward)

totalReward = -20.1306

Можно вычислить оптимальное решение для проблемы LQR с помощью dlqr функция.

[Koptimal,P] = dlqr(A,B,Q,R); 

Оптимальным вознаграждением дают ${\mathit{J}}_{\mathrm{optimal}}={{-\mathit{x}}_0}^{\prime }{\mathrm{Px}}_0$.

x0 = experience.Observation.obs1.getdatasamples(1);
Joptimal = -x0'*P*x0;

Вычислите ошибку в вознаграждении между обученным агентом LQR и оптимальным решением LQR.

rewardError = totalReward - Joptimal

rewardError = 1.5270e-06

Просмотрите историю 2-нормы ошибки в усилениях между обученным агентом LQR и оптимальным решением LQR.

% number of gain updates
len = agent.KUpdate;
err = zeros(len,1);
for i = 1:len
    % norm of error in the gain
    err(i) = norm(agent.KBuffer{i}-Koptimal);
end  
plot(err,'b*-')

Вычислите норму конечной погрешности для усиления обратной связи.

gainError = norm(agent.K - Koptimal)

gainError = 4.1670e-11

В целом, обученный агент находит решение LQR, которое является близко к истинному оптимальному решению LQR.