Exponenta Banner
exponenta event banner

rlSARSAAgentOptions

Опции для агента SARSA

расширьте все на странице

Описание

Используйте rlSARSAAgentOptions объект задать опции для создания агентов SARSA. Чтобы создать агента SARSA, используйте rlSARSAAgent

Для получения дополнительной информации об агентах SARSA см. Агентов SARSA.

Для получения дополнительной информации о различных типах агентов обучения с подкреплением смотрите Агентов Обучения с подкреплением.

Создание

Синтаксис

opt = rlSARSAAgentOptions
opt = rlSARSAAgentOptions(Name,Value)

Описание

opt = rlSARSAAgentOptions создает rlSARSAAgentOptions объект для использования в качестве аргумента при создании агента SARSA с помощью всех настроек по умолчанию. Можно изменить свойства объектов с помощью записи через точку.

пример

opt = rlSARSAAgentOptions(Name,Value) свойства опции наборов с помощью пар "имя-значение". Например, rlSARSAAgentOptions('DiscountFactor',0.95) создает набор опции с коэффициентом дисконтирования 0.95. Можно задать несколько пар "имя-значение". Заключите каждое имя свойства в кавычки.

Свойства

развернуть все

Опции для эпсилон-жадного исследования в виде EpsilonGreedyExploration объект со следующими свойствами.

СвойствоОписаниеЗначение по умолчанию
EpsilonПорог вероятности или к случайным образом выбирает действие или выбирает действие, которое максимизирует функцию ценности состояния активности. Большее значение Epsilon средние значения, что агент случайным образом исследует пространство действий на более высоком уровне.1
EpsilonMinМинимальное значение Epsilon0.01
EpsilonDecayУровень затухания0.0050

В конце каждого учебного временного шага, если Epsilon больше EpsilonMin, затем это обновляется с помощью следующей формулы.

Epsilon = Epsilon*(1-EpsilonDecay)

Если ваш агент сходится на локальных оптимумах слишком быстро, можно способствовать исследованию агента путем увеличения Epsilon.

Чтобы задать опции исследования, используйте запись через точку после создания rlSARSAAgentOptions объект opt. Например, установите значение эпсилона к 0.9.

opt.EpsilonGreedyExploration.Epsilon = 0.9;

Шаг расчета агента в виде положительной скалярной величины.

В среде Simulink® агент выполняется каждый SampleTime секунды времени симуляции.

В среде MATLAB® агент выполняется каждый раз усовершенствования среды. Однако SampleTime временной интервал между последовательными элементами в выходном опыте, возвращенном sim или train.

Коэффициент дисконтирования применился к будущим вознаграждениям во время обучения в виде положительной скалярной величины, меньше чем или равной 1.

Функции объекта

rlSARSAAgentАгент обучения с подкреплением SARSA

Примеры

свернуть все

Скрипт Open Live Script

В этом примере показано, как создать объект опции агента SARSA.

Создайте rlSARSAAgentOptions объект, который задает шаг расчета агента.

opt = rlSARSAAgentOptions('SampleTime',0.5)
opt = 
  rlSARSAAgentOptions with properties:

    EpsilonGreedyExploration: [1x1 rl.option.EpsilonGreedyExploration]
                  SampleTime: 0.5000
              DiscountFactor: 0.9900

Можно изменить опции с помощью записи через точку. Например, установите коэффициент дисконтирования агента на 0.95.

opt.DiscountFactor = 0.95;

Смотрите также

Темы

Введенный в R2019a

Документация Reinforcement Learning Toolbox

Поддержка