Максимальное количество эпизодов для обучения агента, заданное как положительное целое число. Независимо от других критериев прекращения обучения прекращается после MaxEpisodes.

Пример: 'MaxEpisodes',1000

Максимальное количество шагов для запуска в каждом эпизоде, заданное как положительное целое число. В целом, вы задаете условия прекращения эпизода в окружении. Это значение является максимальным количеством шагов для выполнения в эпизоде, если другие условия завершения не выполняются.

Пример: 'MaxStepsPerEpisode',1000

Длина окна для усреднения счетов, вознаграждений и количества шагов для каждого агента, заданная в виде скаляра или вектора.

Если окружение обучения содержит один агент, задайте ScoreAveragingWindowLength как скаляр.

Если окружение обучения является мультиагентом Simulink^® задайте скаляр, чтобы применить ту же длину окна ко всем агентам.

Чтобы использовать разную длину окна для каждого агента, задайте ScoreAveragingWindowLength как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых во время создания окружения.

Для опций, выраженных в терминах средних значений, ScoreAveragingWindowLength - количество эпизодов, включенных в среднее значение. Для образца, если StopTrainingCriteria является "AverageReward", и StopTrainingValue является 500 для данного агента, а затем для этого агента обучение прекращается, когда среднее вознаграждение по количеству эпизодов, заданных в ScoreAveragingWindowLength равен или превышает 500. Для других агентов обучение продолжается до:

Пример: 'ScoreAveragingWindowLength',10

Условие завершения обучения, заданное как одна из следующих строк:

Пример: 'StopTrainingCriteria',"AverageReward"

Критическое значение условия завершения обучения, заданное как скаляр или вектор.

Если окружение обучения содержит один агент, задайте StopTrainingValue как скаляр.

Если окружение обучения является окружением Simulink с мультиагентами, задайте скаляр, чтобы применить один и тот же критерий завершения ко всем агентам. Чтобы использовать другой критерий завершения для каждого агента, задайте StopTrainingValue как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых во время создания окружения.

Для данного агента обучение заканчивается, когда условие завершения, заданное StopTrainingCriteria опция равна или превышает это значение. Для других агентов обучение продолжается до:

Для образца, если StopTrainingCriteria является "AverageReward", и StopTrainingValue является 100 для данного агента, а затем для этого агента обучение прекращается, когда среднее вознаграждение по количеству эпизодов, заданных в ScoreAveragingWindowLength равен или превышает 100.

Пример: 'StopTrainingValue',100

Условие сохранения агентов во время обучения, заданное как одна из следующих строк:

Установите эту опцию, чтобы хранить агентов кандидата, которые работают хорошо в соответствии с заданными критериями. Когда вы устанавливаете эту опцию значение, отличное от "none", программное обеспечение устанавливает SaveAgentValue опция 500. Можно изменить это значение, чтобы задать условие сохранения агента.

Например, предположим, что вы хотите хранить для дальнейшей проверки любого агента, который дает вознаграждение эпизода, которое равняется или превышает 100. Для этого установите SaveAgentCriteria на "EpisodeReward" и установите SaveAgentValue опция 100. Когда вознаграждение эпизода равняется или превышает 100, train сохраняет соответствующий агент в файле MAT в папке, заданной SaveAgentDirectory опция. Файл MAT вызывается AgentK.mat, где K - номер соответствующего эпизода. Агент сохранен в этом файле MAT следующим saved_agent.

Пример: 'SaveAgentCriteria',"EpisodeReward"

Критическое значение условия сохранения агентов, заданное как скаляр или вектор.

Если окружение обучения содержит один агент, задайте SaveAgentValue как скаляр.

Если окружение обучения является окружением Simulink с мультиагентами, задайте скаляр, чтобы применить один и тот же критерий сохранения к каждому агенту. Чтобы сохранить агентов, когда они удовлетворяют конкретному критерию, задайте SaveAgentValue как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых при создании окружения. Когда достигается критерий сохранения агента, все агенты сохраняются в одном и том же файле MAT.

Когда вы задаете условие для сохранения агентов кандидата с помощью SaveAgentCriteriaпрограммное обеспечение устанавливает это значение равным 500. Измените значение, чтобы задать условие сохранения агента. Смотрите SaveAgentCriteria опция для получения дополнительной информации.

Пример: 'SaveAgentValue',100

Папка для сохраненных агентов, заданная как строковый или символьный вектор. Имя папки может содержать полный или относительный путь. Когда происходит эпизод, который удовлетворяет условию, заданному SaveAgentCriteria и SaveAgentValue опции, программное обеспечение сохраняет агентов в файле MAT в этой папке. Если папка не существует, train создает его. Когда SaveAgentCriteria является "none", эта опция игнорируется и train не создает папку.

Пример: 'SaveAgentDirectory', pwd + "\run1\Agents"

Флаг для использования параллельного обучения, заданный как logical. Установка этой опции равной true конфигурирует обучение для использования параллельной обработки для моделирования окружения, что позволяет использовать несколько ядер, процессоры, компьютерные кластеры или облачные ресурсы для ускорения обучения. Чтобы задать опции для параллельного обучения, используйте ParallelizationOptions свойство.

Обратите внимание, что, если вы хотите ускорить вычисления глубокой нейронной сети (такие как расчет градиента, обновление параметра и предсказание) с помощью локального графического процессора, вам не нужно устанавливать UseParallel к true. Вместо этого при создании представления вашего актёра или критика используйте rlRepresentationOptions объект, в котором UseDevice для опции задано значение "gpu".

Для использования параллельных вычислений или графического процессора требуется программное обеспечение Parallel Computing Toolbox™. Для использования компьютерных кластеров или облачных ресурсов дополнительно требуется MATLAB Parallel Server™.

Дополнительные сведения об обучении с использованием многоядерных процессоров и графических процессоров см. в разделе Train агентов с использованием параллельных вычислений и графических процессоров.

Пример: 'UseParallel',true

Опции параллелизации для управления параллельным обучением, заданные как ParallelTraining объект. Для получения дополнительной информации об обучении с использованием параллельных вычислений см. Train «Обучение агентов обучения с подкреплением».

The ParallelTraining объект имеет следующие свойства, которые можно изменить с помощью записи через точку после создания rlTrainingOptions объект.

Отобразите процесс обучения в командной строке, заданный как логические значения false (0) или true (1). Установите значение true для записи информации из каждого эпизода тренировки в командную строку MATLAB во время обучения.

Опция остановить обучение, когда ошибка происходит во время эпизода, заданная как "on" или "off". Когда эта опция "off"ошибки фиксируются и возвращаются в SimulationInfo выхода train, и обучение продолжается до следующего эпизода.

Опция отображения процесса обучения с диспетчером эпизодов, заданная как "training-progress" или "none". По умолчанию вызов train открывает Диспетчер эпизодов обучения с подкреплением, который графически и численно отображает информацию о процессе обучения, такую как вознаграждение за каждый эпизод, среднее вознаграждение, количество эпизодов и общее количество шагов. (Для получения дополнительной информации см. train.) Чтобы выключить это отображение, установите эту опцию равной "none".