Документация

Создайте шаблонный класс

Чтобы задать ваш пользовательский агент, сначала создайте класс, который является подклассом класса rl.agent.CustomAgent. Как пример, эта тема описывает пользовательский агент LQR, обученный в Train Пользовательский Агент LQR. Как отправная точка для вашего собственного агента, можно открыть и изменить этот пользовательский класс агента. Для этого добавьте файлы в качестве примера в путь и откройте файл. В окне команды MATLAB введите:

edit LQRCustomAgent.m

Этот класс имеет следующее определение класса, которое указывает на имя класса агента и связанный абстрактный агент.

classdef LQRCustomAgent < rl.agent.CustomAgent

Чтобы задать ваш агент, необходимо задать следующее:

Свойства агента

В разделе properties файла класса задайте любые параметры, необходимые для создания и обучения агент. Эти параметры могут включать:

Для получения дополнительной информации о потенциальных свойствах агента смотрите наборы опции для встроенных агентов Reinforcement Learning Toolbox™.

Класс rl.Agent.CustomAgent уже включает свойства для шага расчета агента (SampleTime) и спецификации действия и наблюдения (ActionInfo и ObservationInfo, соответственно).

Пользовательский агент LQR задает следующие свойства агента.

properties
    % Q
    Q

    % R
    R

    % Feedback gain
    K

    % Discount Factor
    Gamma = 0.95

    % Critic
    Critic

    % Buffer for K
    KBuffer  
    % Number of updates for K
    KUpdate = 1

    % Number for estimator update
    EstimateNum = 10
end

properties (Access = private)
    Counter = 1
    YBuffer
    HBuffer 
end

Функция конструктора

Чтобы создать ваш пользовательский агент, необходимо задать функцию конструктора что:

Например, конструктор LQRCustomAgent задает непрерывное действие и пространства наблюдений и создает представление критика. Функция createCritic является дополнительной функцией помощника, используемой для определения представления критика.

function obj = LQRCustomAgent(Q,R,InitialK)
    % Check the number of input arguments
    narginchk(3,3);

    % Call the abstract class constructor
    obj = obj@rl.agent.CustomAgent();

    % Set the Q and R matrices
    obj.Q = Q;
    obj.R = R;

    % Define the observation and action spaces
    obj.ObservationInfo = rlNumericSpec([size(Q,1),1]);
    obj.ActionInfo = rlNumericSpec([size(R,1),1]);

    % Create the critic representation
    obj.Critic = createCritic(obj);

    % Initialize the gain matrix
    obj.K = InitialK;

    % Initialize the experience buffers
    obj.YBuffer = zeros(obj.EstimateNum,1);
    num = size(Q,1) + size(R,1);
    obj.HBuffer = zeros(obj.EstimateNum,0.5*num*(num+1));
    obj.KBuffer = cell(1,1000);
    obj.KBuffer{1} = obj.K;
end
end

Агент и представления критика

Если ваше приобретение знаний алгоритма использует представление критика, чтобы оценить долгосрочное вознаграждение, агента для выбора действия или обоих, необходимо добавить их как свойства агента. Необходимо затем создать эти представления, когда вы создаете свой агент; то есть, в функции конструктора. Для получения дополнительной информации о создании агентов и критиков, смотрите, Создают политику и Представления Функции Значения.

Например, пользовательский агент LQR использует представление критика, сохраненное в его свойстве Critic и никаком агенте. Создание критика реализовано в функции помощника getCritic, которая вызвана от конструктора LQRCustomAgent.

function critic = createCritic(obj)
    nQ = size(obj.Q,1);
    nR = size(obj.R,1);
    n = nQ+nR;
    w0 = 0.1*ones(0.5*(n+1)*n,1);
    critic = rlRepresentation(@(x,u) computeQuadraticBasis(x,u,n),w0,...
        getObservationInfo(obj),getActionInfo(obj));
    critic.Options.GradientThreshold = 1;
    critic = critic.setLoss('mse');
end

В этом случае критик является созданным использованием объекта rlLinearBasisRepresentation функции rlRepresentation. Чтобы создать такое представление, необходимо задать указатель на пользовательскую основную функцию, которая в этом случае является функцией computeQuadraticBasis. Для получения дополнительной информации об этом представлении критика смотрите Train Пользовательский Агент LQR.

Необходимые функции

Чтобы создать пользовательский агент изучения укрепления, необходимо задать следующие функции реализации. Чтобы вызвать эти функции в вашем собственном коде, используйте методы обертки от абстрактного базового класса. Например, чтобы вызвать getActionImpl, используйте getAction. Методы обертки имеют те же аргументы ввода и вывода как методы внедрения.

В ваших функциях реализации, чтобы оценить вашего агента и представления критика, можно использовать функцию evaluate. Оценивать:

Для предыдущих команд синтаксисов Observation и Action являются массивами ячеек.

function action = getActionImpl(obj,Observation)

function action = getActionImpl(obj,Observation)
    % Given the current state of the system, return an action.
    action = -obj.K*Observation{:};
end

function action = getActionWithExplorationImpl(obj,Observation)

function action = getActionWithExplorationImpl(obj,Observation)
    % Given the current observation, select an action
    action = getAction(obj,Observation);
    
    % Add random noise to the action
    num = size(obj.R,1);
    action = action + 0.1*randn(num,1);
end

function action = learnImpl(obj,exp)

function action = learnImpl(obj,exp)
    % Parse the experience input
    x = exp{1}{1};
    u = exp{2}{1};
    dx = exp{4}{1};            
    y = (x'*obj.Q*x + u'*obj.R*u);
    num = size(obj.Q,1) + size(obj.R,1);

    % Wait N steps before updating critic parameters
    N = obj.EstimateNum;
    h1 = computeQuadraticBasis(x,u,num);
    h2 = computeQuadraticBasis(dx,-obj.K*dx,num);
    H = h1 - obj.Gamma* h2;
    if obj.Counter<=N
        obj.YBuffer(obj.Counter) = y;
        obj.HBuffer(obj.Counter,:) = H;
        obj.Counter = obj.Counter + 1;
    else
        % Update the critic parameters based on the batch of
        % experiences
        H_buf = obj.HBuffer;
        y_buf = obj.YBuffer;
        theta = (H_buf'*H_buf)\H_buf'*y_buf;
        setLearnableParameterValues(obj.Critic,{theta});
        
        % Derive a new gain matrix based on the new critic parameters
        obj.K = getNewK(obj);
        
        % Reset the experience buffers
        obj.Counter = 1;
        obj.YBuffer = zeros(N,1);
        obj.HBuffer = zeros(N,0.5*num*(num+1));    
        obj.KUpdate = obj.KUpdate + 1;
        obj.KBuffer{obj.KUpdate} = obj.K;
    end

    % Find and return an action with exploration
    action = getActionWithExploration(obj,exp{4});
end

Дополнительные функции

Опционально, можно задать, как агент сбрасывается в начале обучения путем определения функции resetImpl со следующей функциональной подписью, где obj является объектом агента. Используя эту функцию, можно установить агент в знание или случайное условие перед обучением.

function resetImpl(ob)

Кроме того, можно задать любые другие функции помощника в пользовательском классе агента как требуется. Например, пользовательский агент LQR задает функцию createCritic для создания представления критика и функции getNewK, которая выводит матрицу усиления обратной связи от обученных параметров критика.

Создайте пользовательский агент

Если вы задали свой пользовательский класс агента, создайте экземпляр его в рабочем пространстве MATLAB. Например, чтобы создать пользовательский агент LQR, задайте Q, R, значения InitialK, и вызовите функцию конструктора.

Q = [10,3,1;3,5,4;1,4,9]; 
R = 0.5*eye(3);
K0 = place(A,B,[0.4,0.8,0.5]);
agent = LQRCustomAgent(Q,R,K0);

После проверки объекта среды можно использовать его, чтобы обучить агент изучения укрепления. Для примера, который обучает пользовательский агент LQR, смотрите Train Пользовательский Агент LQR.