Максимальное количество эпизодов для обучения агента, указанное как положительное целое число. Независимо от других критериев прекращения, обучение прекращается после MaxEpisodes.

Пример: 'MaxEpisodes',1000

Максимальное количество шагов для выполнения в эпизоде, указанное как положительное целое число. Как правило, условия завершения эпизода определяются в среде. Это значение является максимальным количеством шагов для выполнения в эпизоде, если другие условия прекращения не выполнены.

Пример: 'MaxStepsPerEpisode',1000

Длина окна для усреднения баллов, вознаграждений и количества шагов для каждого агента, заданного как скаляр или вектор.

Если учебная среда содержит одного агента, укажите ScoreAveragingWindowLength как скаляр.

Если учебная среда представляет собой многоагентную среду Simulink ®, укажите скаляр для применения одинаковой длины окна ко всем агентам.

Чтобы использовать различную длину окна для каждого агента, укажите ScoreAveragingWindowLength как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых при создании среды.

Для вариантов, выраженных в виде средних значений, ScoreAveragingWindowLength - количество эпизодов, включенных в средний показатель. Например, если StopTrainingCriteria является "AverageReward", и StopTrainingValue является 500 для данного агента, то для этого агента обучение прекращается, когда среднее вознаграждение превышает количество эпизодов, указанных в ScoreAveragingWindowLength равно или превышает 500. Для других агентов обучение продолжается до:

Пример: 'ScoreAveragingWindowLength',10

Условие окончания обучения, указанное как одна из следующих строк:

Пример: 'StopTrainingCriteria',"AverageReward"

Критическое значение условия окончания обучения, указанное как скаляр или вектор.

Если учебная среда содержит одного агента, укажите StopTrainingValue как скаляр.

Если учебная среда является многоагентной средой Simulink, укажите скаляр для применения одного и того же критерия завершения ко всем агентам. Чтобы использовать различные критерии завершения для каждого агента, укажите StopTrainingValue как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых при создании среды.

Для данного агента обучение заканчивается, когда условие завершения, указанное StopTrainingCriteria параметр равен или превышает это значение. Для других агентов обучение продолжается до:

Например, если StopTrainingCriteria является "AverageReward", и StopTrainingValue является 100 для данного агента, то для этого агента обучение прекращается, когда среднее вознаграждение превышает количество эпизодов, указанных в ScoreAveragingWindowLength равно или превышает 100.

Пример: 'StopTrainingValue',100

Условие сохранения агентов во время обучения, указанное как одна из следующих строк:

Установите этот параметр для хранения агентов-кандидатов, которые хорошо работают в соответствии с указанными критериями. При установке для этой опции значения, отличного от "none", программное обеспечение устанавливает SaveAgentValue вариант до 500. Можно изменить это значение, чтобы указать условие для сохранения агента.

Например, предположим, что вы хотите сохранить для дальнейшего тестирования любого агента, который дает награду за эпизод, которая равна или превышает 100. Для этого установите SaveAgentCriteria кому "EpisodeReward" и установите SaveAgentValue опция 100. Если награда за эпизод равна или превышает 100, train сохраняет соответствующего агента в MAT-файле в папке, указанной SaveAgentDirectory вариант. Файл MAT называется AgentK.mat, где K - номер соответствующего эпизода. Агент хранится в этом MAT-файле как saved_agent.

Пример: 'SaveAgentCriteria',"EpisodeReward"

Критическое значение условия сохранения агентов, указанное как скаляр или вектор.

Если учебная среда содержит одного агента, укажите SaveAgentValue как скаляр.

Если учебная среда является многоагентной средой Simulink, укажите скаляр для применения одного и того же критерия сохранения к каждому агенту. Для сохранения агентов, удовлетворяющих определенному критерию, укажите SaveAgentValue как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых при создании среды. При выполнении условий сохранения агента все агенты сохраняются в одном файле MAT.

При указании условия сохранения агентов-кандидатов с помощью SaveAgentCriteria, программное обеспечение устанавливает это значение равным 500. Измените значение, чтобы указать условие сохранения агента. См. раздел SaveAgentCriteria для получения дополнительной информации.

Пример: 'SaveAgentValue',100

Папка для сохраненных агентов, указанная как строковый или символьный вектор. Имя папки может содержать полный или относительный путь. Когда происходит эпизод, который удовлетворяет условию, указанному SaveAgentCriteria и SaveAgentValue , программа сохраняет агенты в MAT-файле в этой папке. Если папка не существует, train создает его. Когда SaveAgentCriteria является "none", этот параметр игнорируется и train не создает папку.

Пример: 'SaveAgentDirectory', pwd + "\run1\Agents"

Флаг для использования параллельного обучения, указанный как logical. Установка для этого параметра значения true настраивает обучение на использование параллельной обработки для моделирования среды, тем самым позволяя использовать несколько ядер, процессоров, компьютерных кластеров или облачных ресурсов для ускорения обучения. Чтобы указать параметры параллельного обучения, используйте ParallelizationOptions собственность.

Обратите внимание, что для ускорения глубоких вычислений нейронной сети (таких как вычисление градиента, обновление параметров и прогнозирование) с помощью локального графического процессора устанавливать не требуется UseParallel к true. Вместо этого при создании своего представления актера или критика используйте rlRepresentationOptions объект, в котором UseDevice параметр имеет значение "gpu".

Для использования параллельных вычислений или графического процессора требуется программное обеспечение Parallel Computing Toolbox™. Использование компьютерных кластеров или облачных ресурсов дополнительно требует Server™ MATLAB Parallel.

Дополнительные сведения об обучении работе с многоядерными процессорами и графическими процессорами см. в разделе Обучение агентов работе с параллельными вычислениями и графическими процессорами.

Пример: 'UseParallel',true

Параметры параллелизма для управления параллельным обучением, указанные как ParallelTraining объект. Дополнительные сведения об обучении с использованием параллельных вычислений см. в разделе Обучение агентов обучения усилению.

ParallelTraining имеет следующие свойства, которые можно изменить с помощью точечной нотации после создания rlTrainingOptions объект.

Отображение хода обучения в командной строке, указанной как логические значения false (0) или true (1). Установить в значение true запись информации из каждого учебного эпизода в командную строку MATLAB во время обучения.

Опция остановки обучения при возникновении ошибки во время эпизода, указанная как "on" или "off". Когда этот параметр "off", ошибки фиксируются и возвращаются в SimulationInfo вывод trainи тренировки продолжаются до следующего эпизода.

Возможность отображения хода обучения с помощью менеджера эпизодов, указанного как "training-progress" или "none". По умолчанию вызов train открывает Менеджер обучающих эпизодов с усилением, который графически и численно отображает информацию о ходе обучения, такую как вознаграждение за каждый эпизод, среднее вознаграждение, количество эпизодов и общее количество шагов. (Дополнительные сведения см. в разделе train.) Чтобы отключить этот дисплей, установите для этого параметра значение "none".