Документация

Создайте среду линейной системы

Среда обучения с подкреплением для этого примера является линейной системой дискретного времени. Движущими силами для системы дают

Закон об управлении с обратной связью:

$$u_t=-K{x}_t$$.

Цель управления состоит в том, чтобы минимизировать квадратичную стоимость $\mathit{J}={\sum }_{\mathit{t}=0}^{\infty }({{\mathit{x}}_{\mathit{t}}}^{\prime }{\mathit{Qx}}_{\mathit{t}}+{{\mathit{u}}_{\mathit{t}}}^{\prime }{\mathit{Рутений}}_{\mathit{t}})$.

В этом примере системные матрицы:

A = [1.05,0.05,0.05;0.05,1.05,0.05;0,0.05,1.05];
B = [0.1,0,0.2;0.1,0.5,0;0,0,0.5]; 

Квадратичные матрицы стоимости:

Q = [10,3,1;3,5,4;1,4,9]; 
R = 0.5*eye(3);

Для этой среды, вознаграждения во время $\mathit{t}$ дают $$r_t=-x_t^{\prime }Q{x}_t-u_t^{\prime }R{u}_t$$, который является отрицанием квадратичной стоимости. Поэтому максимизация вознаграждения минимизирует стоимость. Начальные условия установлены случайным образом функцией сброса.

Создайте интерфейс среды MATLAB для этой линейной системы и вознаграждения. myDiscreteEnv функция создает среду путем определения пользовательского step и reset функции. Для получения дополнительной информации о создании такой пользовательской среды смотрите, Создают Среду MATLAB с помощью Пользовательских Функций.

env = myDiscreteEnv(A,B,Q,R);

Для повторяемости результатов зафиксируйте начальное значение генератора случайных чисел.

rng(0)

Создайте пользовательского агента LQR

Для проблемы LQR, Q-функции для данного усиления контроля $\mathit{K}$ может быть задан как ${\mathit{Q}}_{\mathit{K}}\left(\mathit{x},\mathit{u}\right)={\left[\begin{array}{c}\mathit{x}\\ \mathit{u}\end{array}\right]}^{\prime }{\mathit{H}}_{\mathit{K}}\left[\begin{array}{c}\mathit{x}\\ \mathit{u}\end{array}\right]$, где ${\mathit{H}}_{\mathit{K}}=\left[\begin{array}{cc}{\mathit{H}}_{\mathrm{xx}}& {\mathit{H}}_{\mathrm{xu}}\\ {\mathit{H}}_{\mathrm{ux}}& {\mathit{H}}_{\mathrm{uu}}\end{array}\right]$ симметричная, положительная определенная матрица.

Закон о надзоре, чтобы максимизировать ${\mathit{Q}}_{\mathit{K}}$ $\mathit{u}=-{\left({\mathit{H}}_{\mathrm{uu}}\right)}^{-1}{\mathit{H}}_{\mathrm{ux}}\mathit{x}$, и усиление обратной связи ${\mathit{K}=\left({\mathit{H}}_{\mathrm{uu}}\right)}^{-1}{\mathit{H}}_{\mathrm{ux}}.$

Матрица ${\mathit{H}}_{\mathit{K}}$ содержит $\mathit{m}=\frac{1}{2}\mathit{n}\left(\mathit{n}+1\right)$ отличные значения элемента, где $\mathit{n}$ сумма количества состояний и количества входных параметров. Обозначить $\theta$ как вектор, соответствующий им $\mathit{m}$ элементы, где недиагональные элементы в ${\mathit{H}}_{\mathit{K}}$ умножаются на два.

Представляйте Q-функцию $\theta$, где $\theta$ содержит параметры, которые будут изучены.

${\mathit{Q}}_{\mathit{K}}\left(\mathit{x},\mathit{u}\right)={\theta }^{\prime }\left(\mathit{K}\right)\varphi \left(\mathit{x},\mathit{u}\right)$, где $\varphi \left(\mathit{x},\mathit{u}\right)$ квадратичная основная функция в терминах $\mathit{x}$ и $\mathit{u}$.

Агент LQR запускается со стабилизировавшегося контроллера ${\mathit{K}}_0$. Чтобы получить начальный контроллер стабилизации, поместите полюса системы с обратной связью $\mathit{A}-{\mathit{BK}}_0$ в модульном кругу.

K0 = place(A,B,[0.4,0.8,0.5]);

Чтобы создать пользовательского агента, необходимо создать подкласс rl.agent.CustomAgent абстрактный класс. Для пользовательского агента LQR заданным пользовательским подклассом является LQRCustomAgent. Для получения дополнительной информации смотрите Пользовательских Агентов. Создайте пользовательское использование агента LQR $\mathit{Q}$, $\mathit{R}$, и ${\mathit{K}}_0$. Агент не запрашивает информацию на системных матрицах $\mathit{A}$ и $\mathit{B}$.

agent = LQRCustomAgent(Q,R,K0);

В данном примере установите коэффициент дисконтирования агента на один. Чтобы использовать обесцененное будущее вознаграждение, установите коэффициент дисконтирования на значение меньше чем один.

agent.Gamma = 1;

Существует три состояния и три входных параметров для линейной системы, поэтому общее количество learnable параметров $\mathit{m}=21$. Чтобы гарантировать удовлетворительную производительность агента, определите номер оценок параметра ${\mathit{N}}_{\mathit{p}}$ быть больше дважды количества learnable параметров. В этом примере значение ${\mathit{N}}_{\mathit{p}}=45$.

agent.EstimateNum = 45;

Получить хорошую оценку заканчивается для $\theta$, необходимо применить постоянно взволнованную модель исследования к системе. В этом примере исследование модели путем добавления белого шума в контроллер вывело: ${\mathit{u}}_{\mathit{t}}=-{\mathit{Kx}}_{\mathit{t}}+{\mathit{e}}_{\mathit{t}}$. В общем случае модель исследования зависит от системных моделей.

Обучите агента

Чтобы обучить агента, сначала задайте опции обучения. В данном примере используйте следующие опции:

Для получения дополнительной информации смотрите rlTrainingOptions.

trainingOpts = rlTrainingOptions(...
    'MaxEpisodes',10, ...
    'MaxStepsPerEpisode',50, ...
    'Verbose',true, ...
    'Plots','none');

Обучите агента с помощью train функция.

trainingStats = train(agent,env,trainingOpts);

Episode:   1/ 10 | Episode Reward : -56.92 | Episode Steps:   50 | Avg Reward : -56.92 | Step Count : 50
Episode:   2/ 10 | Episode Reward : -13.45 | Episode Steps:   50 | Avg Reward : -35.19 | Step Count : 100
Episode:   3/ 10 | Episode Reward : -21.52 | Episode Steps:   50 | Avg Reward : -30.63 | Step Count : 150
Episode:   4/ 10 | Episode Reward : -18.58 | Episode Steps:   50 | Avg Reward : -27.62 | Step Count : 200
Episode:   5/ 10 | Episode Reward : -11.43 | Episode Steps:   50 | Avg Reward : -24.38 | Step Count : 250
Episode:   6/ 10 | Episode Reward : -19.76 | Episode Steps:   50 | Avg Reward : -16.95 | Step Count : 300
Episode:   7/ 10 | Episode Reward : -12.21 | Episode Steps:   50 | Avg Reward : -16.70 | Step Count : 350
Episode:   8/ 10 | Episode Reward : -16.95 | Episode Steps:   50 | Avg Reward : -15.79 | Step Count : 400
Episode:   9/ 10 | Episode Reward : -45.29 | Episode Steps:   50 | Avg Reward : -21.13 | Step Count : 450
Episode:  10/ 10 | Episode Reward : -26.22 | Episode Steps:   50 | Avg Reward : -24.09 | Step Count : 500

Симулируйте агента и сравните с оптимальным решением

Чтобы подтвердить производительность обученного агента, симулируйте его в среде MATLAB. Для получения дополнительной информации о симуляции агента смотрите rlSimulationOptions и sim.

simOptions = rlSimulationOptions('MaxSteps',20);
experience = sim(env,agent,simOptions);
totalReward = sum(experience.Reward)

totalReward = single
    -7.8685

Можно вычислить оптимальное решение для проблемы LQR с помощью dlqr функция.

[Koptimal,P] = dlqr(A,B,Q,R); 

Оптимальным вознаграждением дают ${\mathit{J}}_{\mathrm{оптимальный}}={{-\mathit{x}}_0}^{\prime }{\mathrm{Пкс}}_0$.

x0 = experience.Observation.obs1.getdatasamples(1);
Joptimal = -x0'*P*x0;

Вычислите ошибку в вознаграждении между обученным агентом LQR и оптимальным решением LQR.

rewardError = totalReward - Joptimal

rewardError = single
    8.7034e-07

Просмотрите историю 2-нормы ошибки в усилениях между обученным агентом LQR и оптимальным решением LQR.

% number of gain updates
len = agent.KUpdate;
err = zeros(len,1);
for i = 1:len
    % norm of error in the gain
    err(i) = norm(agent.KBuffer{i}-Koptimal);
end  
plot(err,'b*-')

Вычислите норму конечной погрешности для усиления обратной связи.

gainError = norm(agent.K - Koptimal)

gainError = single
    1.6082e-06

В целом, обученный агент нашел решение LQR, которое является близко к истинному оптимальному решению LQR.