Максимальное количество эпизодов, чтобы обучить агента в виде положительного целого числа. Независимо от других критериев завершения обучение завершает работу после MaxEpisodes.

Пример: 'MaxEpisodes',1000

Максимальное количество шагов, чтобы запуститься на эпизод в виде положительного целого числа. В общем случае вы задаете условия завершения эпизода в среде. Это значение является максимальным количеством шагов, чтобы запуститься в эпизоде, если другие условия завершения не соблюдают.

Пример: 'MaxStepsPerEpisode',1000

Длина окна для усреднения баллов, вознаграждений и количества шагов для каждого агента в виде скаляра или вектора.

Если учебная среда содержит одного агента, задайте ScoreAveragingWindowLength как скаляр.

Если учебная среда является мультиагентом Simulink^® среда, задайте скаляр, чтобы применить ту же длину окна ко всем агентам.

Чтобы использовать различную длину окна для каждого агента, задайте ScoreAveragingWindowLength как вектор. В этом случае, порядок элементов в векторе соответствуют порядку агентов, используемых во время создания среды.

Для опций, описанных в терминах средних значений, ScoreAveragingWindowLength количество эпизодов, включенных в среднее значение. Например, если StopTrainingCriteria "AverageReward", и StopTrainingValue 500 для данного агента, затем для того агента, завершает работу обучение, когда среднее вознаграждение по количеству эпизодов задало в ScoreAveragingWindowLength равняется или превышает 500. Для других агентов обучение продолжается до:

Пример: 'ScoreAveragingWindowLength',10

Учебное условие завершения в виде одной из следующих строк:

Пример: 'StopTrainingCriteria',"AverageReward"

Критическое значение учебного условия завершения в виде скаляра или вектора.

Если учебная среда содержит одного агента, задайте StopTrainingValue как скаляр.

Если учебной средой является окружение Simulink мультиагента, задайте скаляр, чтобы применить тот же критерий завершения ко всем агентам. Чтобы использовать различный критерий завершения каждого агента, задайте StopTrainingValue как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых во время создания среды.

Для данного агента обучение заканчивается когда условие завершения, заданное StopTrainingCriteria опция равняется или превышает это значение. Для других агентов обучение продолжается до:

Например, если StopTrainingCriteria "AverageReward", и StopTrainingValue 100 для данного агента, затем для того агента, завершает работу обучение, когда среднее вознаграждение по количеству эпизодов задало в ScoreAveragingWindowLength равняется или превышает 100.

Пример: 'StopTrainingValue',100

Условие для сохранения агентов во время обучения в виде одной из следующих строк:

Установите эту опцию хранить агентов кандидата, которые выполняют хорошо согласно критериям, которые вы задаете. Когда вы устанавливаете эту опцию на значение кроме "none", программное обеспечение устанавливает SaveAgentValue опция к 500. Можно изменить то значение, чтобы задать условие для сохранения агента.

Например, предположите, что вы хотите сохранить для дальнейшего тестирования любого агента, который дает к вознаграждению эпизода, которое равняется или превышает 100. Для этого установите SaveAgentCriteria к "EpisodeReward" и набор SaveAgentValue опция к 100. Когда вознаграждение эпизода равняется или превышает 100, train сохраняет соответствующего агента в файле MAT в папке, заданной SaveAgentDirectory опция. Файл MAT называется AgentK.mat, где K количество соответствующего эпизода. Агент хранится в том файле MAT как saved_agent.

Пример: 'SaveAgentCriteria',"EpisodeReward"

Критическое значение условия для сохранения агентов в виде скаляра или вектора.

Если учебная среда содержит одного агента, задайте SaveAgentValue как скаляр.

Если учебной средой является окружение Simulink мультиагента, задайте скаляр, чтобы применить тот же критерий сохранения к каждому агенту. Чтобы сохранить агентов, когда каждый будет соответствовать конкретному критерию, задайте SaveAgentValue как вектор. В этом случае порядок элементов в векторе соответствует порядку агентов, используемых при создании среды. Когда критериям сохранения агента соответствуют, все агенты сохранены в том же файле MAT.

Когда вы задаете условие для сохранения агентов кандидата с помощью SaveAgentCriteria, программное обеспечение устанавливает это значение к 500. Измените значение, чтобы задать условие для сохранения агента. Смотрите SaveAgentCriteria опция для получения дополнительной информации.

Пример: 'SaveAgentValue',100

Папка для сохраненных агентов в виде строки или вектора символов. Имя папки может содержать полный или относительный путь. Когда эпизод происходит, который удовлетворяет условию, заданному SaveAgentCriteria и SaveAgentValue опции, программное обеспечение сохраняет агентов в файле MAT в этой папке. Если папка не существует, train создает его. Когда SaveAgentCriteria "none", эта опция проигнорирована и train не создает папку.

Пример: 'SaveAgentDirectory', pwd + "\run1\Agents"

Отметьте для использования параллельного обучения в виде logical. Установка этой опции к true конфигурирует обучение использовать параллельную обработку, чтобы симулировать среду, таким образом, позволяя использованию нескольких ядер, процессоров, компьютерных кластеров или ресурсов облака ускорить обучение. Чтобы задать опции для параллельного обучения, используйте ParallelizationOptions свойство.

Когда UseParallel true затем для DQN, DDPG, TD3 и SAC NumStepsToLookAhead свойство или соответствующий объект опции агента должны быть установлены в 1, в противном случае ошибка сгенерирована. Это гарантирует, что события хранятся непрерывно. Когда агенты AC обучены параллельно, предупреждение сгенерировано если StepsUntilDataIsSent свойство ParallelizationOptions объект установлен в различное значение, чем NumStepToLookAhead свойство объекта опции агента AC.

Обратите внимание на то, что, если вы хотите ускорить вычисления глубокой нейронной сети (такие как расчет градиента, обновление параметра и предсказание) использование локального графического процессора, вы не должны устанавливать UseParallel к истине. Вместо этого при создании агента или представления критика, используйте rlRepresentationOptions объект, в который UseDevice опция установлена в "gpu". Используя параллельные вычисления или графический процессор требует программного обеспечения Parallel Computing Toolbox™. Используя компьютерные кластеры или ресурсы облака дополнительно требует MATLAB Parallel Server™. Для получения дополнительной информации об обучении с помощью многоядерных процессоров и графических процессоров, смотрите, Обучают Агентов Используя Параллельные вычисления и графические процессоры.

Пример: 'UseParallel',true

Опции распараллеливания, чтобы управлять параллельным обучением в виде ParallelTraining объект. Для получения дополнительной информации об обучении с помощью параллельных вычислений, смотрите, Обучают Агентов Обучения с подкреплением.

ParallelTraining объект имеет следующие свойства, которые можно изменить запись через точку использования после создания rlTrainingOptions объект.

Отобразите прогресс обучения на командной строке в виде логических значений false (0) или true (1). Установите на true записать информацию от каждого эпизода тренировки до командной строки MATLAB во время обучения.

Опция, чтобы остановить обучение, когда ошибка происходит во время эпизода в виде "on" или "off". Когда этой опцией является "off", ошибки зафиксированы и возвращены в SimulationInfo выход train, и обучение продолжается к следующему эпизоду.

Опция, чтобы отобразить прогресс обучения с менеджером по Эпизоду в виде "training-progress" или "none". По умолчанию, вызов train открывает менеджера по Эпизоду Обучения с подкреплением, который графически и численно отображает информацию о процессе обучения, таком как вознаграждение за каждый эпизод, среднее вознаграждение, количество эпизодов и общее количество шагов. (Для получения дополнительной информации смотрите train.), Чтобы выключить это отображение, установите эту опцию на "none".