Извлеките информацию о действии и наблюдении, которую можно использовать, чтобы создать другие среды или агентов.

Среда обучения с подкреплением для этого примера является простой продольной динамикой для автомобиля эго и ведущего автомобиля. Цель обучения должна сделать автомобильное перемещение эго при скорости набора при поддержании безопасного расстояния от ведущего автомобиля путем управления продольным ускорением (и торможения). Этот пример использует ту же модель транспортного средства в качестве Адаптивной Системы Круиз-контроля Используя Прогнозирующее Управление Модели (Model Predictive Control Toolbox) пример.

Откройте модель и создайте среду обучения с подкреплением.

mdl = 'rlACCMdl';
open_system(mdl);
agentblk = [mdl '/RL Agent'];
% create the observation info
obsInfo = rlNumericSpec([3 1],'LowerLimit',-inf*ones(3,1),'UpperLimit',inf*ones(3,1));
obsInfo.Name = 'observations';
obsInfo.Description = 'information on velocity error and ego velocity';
% action Info
actInfo = rlNumericSpec([1 1],'LowerLimit',-3,'UpperLimit',2);
actInfo.Name = 'acceleration';
% define environment
env = rlSimulinkEnv(mdl,agentblk,obsInfo,actInfo)

env = 
  SimulinkEnvWithAgent with properties:

             Model: "rlACCMdl"
        AgentBlock: "rlACCMdl/RL Agent"
          ResetFcn: []
    UseFastRestart: 'on'

Среда обучения с подкреплением env SimulinkWithAgent объект с вышеупомянутыми свойствами.

Извлеките информацию о действии и наблюдении из среды обучения с подкреплением env.

actInfoExt = getActionInfo(env)

actInfoExt = 
  rlNumericSpec with properties:

     LowerLimit: -3
     UpperLimit: 2
           Name: "acceleration"
    Description: [0x0 string]
      Dimension: [1 1]
       DataType: "double"

obsInfoExt = getObservationInfo(env)

obsInfoExt = 
  rlNumericSpec with properties:

     LowerLimit: [3x1 double]
     UpperLimit: [3x1 double]
           Name: "observations"
    Description: "information on velocity error and ego velocity"
      Dimension: [3 1]
       DataType: "double"

Информация о действии содержит ускоряющие значения, в то время как информация о наблюдении содержит скоростные и скоростные ошибочные значения автомобиля, оборудованного датчиком.