Документация

Входные и выходные размерности сети

Размерности ваших сетей актёра и критика должны совпадать с соответствующими спецификациями действий и наблюдений от объекта окружения обучения. Чтобы получить размерности действия и наблюдения для окружения env, использовать getActionInfo и getObservationInfo функций, соответственно. Затем получите доступ к Dimensions свойство объектов спецификации.

actInfo = getActionInfo(env);
actDimensions = actInfo.Dimensions;

obsInfo = getObservationInfo(env);
obsDimensions = obsInfo.Dimensions;

Сети для критиков функции ценности (таких как используемые в агентах AC, PG или PPO) должны принимать только наблюдения в качестве входов и должны иметь один скалярный выход. Для этих сетей размерности входных слоев должны совпадать с размерностями спецификаций наблюдений окружения. Для получения дополнительной информации см. rlValueRepresentation.

Сети для критиков функции Q-значения с одним выводом (таких как используемые в агентах Q, DQN, SARSA, DDPG, TD3 и SAC) должны принимать как наблюдения, так и действия в качестве входов и должны иметь один скалярный выход. Для этих сетей размерности входных слоев должны совпадать с размерностями спецификаций окружения для наблюдений и действий. Для получения дополнительной информации см. rlQValueRepresentation.

Сети для критиков функции Q-значения с мультивыходами (таких как используемые в агентах Q, DQN и SARSA) берут только наблюдения в качестве входов и должны иметь один выходной слой с размером вывода, равным количеству дискретных действий. Для этих сетей размерности входных слоев должны совпадать с размерностями наблюдений окружения. спецификации. Для получения дополнительной информации см. rlQValueRepresentation.

Для сетей актёра размерности входных слоев должны совпадать с размерностями спецификаций наблюдений окружения.

Для получения дополнительной информации смотрите rlDeterministicActorRepresentation и rlStochasticActorRepresentation.

Создайте глубокую нейронную сеть

Глубокие нейронные сети состоят из ряда взаимосвязанных слоев. В следующей таблице перечислены некоторые общие слои глубокого обучения, используемые в приложениях обучения с подкреплением. Полный список доступных слоев см. в Списке слоев глубокого обучения.

bilstmLayer и batchNormalizationLayer слои не поддерживаются для обучения с подкреплением.

Программное обеспечение Reinforcement Learning Toolbox предоставляет следующие слои, которые не содержат настраиваемых параметров (то есть параметров, которые изменяются во время обучения).

Можно также создать свои собственные пользовательские слои. Для получения дополнительной информации смотрите Задать Пользовательские Слои Глубокого Обучения.

Для приложений обучения с подкреплением вы создаете глубокую нейронную сеть, соединяя серию слоев для каждого входного пути (наблюдения или действия) и для каждого выходного пути (оценки вознаграждения или действия). Затем вы соединяете эти пути вместе, используя connectLayers функция.

Можно также создать глубокую нейронную сеть с помощью приложения Deep Network Designer. Для получения примера смотрите Создание агента с использованием Deep Network Designer и Train Использование наблюдений изображений.

Когда вы создаете глубокую нейронную сеть, необходимо задать имена для первого слоя каждого входа пути и последнего слоя выхода пути.

Следующий код создает и соединяет следующие входные и выходные пути:

observationPath = [
    imageInputLayer([4 1 1],'Normalization','none','Name','observation')
    fullyConnectedLayer(24,'Name','CriticObsFC1')
    reluLayer('Name','CriticRelu1')
    fullyConnectedLayer(24,'Name','CriticObsFC2')];
actionPath = [
    imageInputLayer([1 1 1],'Normalization','none','Name','action')
    fullyConnectedLayer(24,'Name','CriticActFC1')];
commonPath = [
    additionLayer(2,'Name','add')
    reluLayer('Name','CriticCommonRelu')
    fullyConnectedLayer(1,'Name','output')];
criticNetwork = layerGraph(observationPath);
criticNetwork = addLayers(criticNetwork,actionPath);
criticNetwork = addLayers(criticNetwork,commonPath);    
criticNetwork = connectLayers(criticNetwork,'CriticObsFC2','add/in1');
criticNetwork = connectLayers(criticNetwork,'CriticActFC1','add/in2');

Для всех входных путей наблюдений и действий необходимо задать imageInputLayer как первый слой в пути.

Вы можете просмотреть структуру глубокой нейронной сети, используя plot функция.

plot(criticNetwork)

Для агентов PG и AC конечными выходными слоями ваших представлений актера глубокой нейронной сети являются fullyConnectedLayer и softmaxLayer. Когда вы задаете слои для вашей сети, вы должны задать fullyConnectedLayer и вы можете опционально задать softmaxLayer. Если вы опускаете softmaxLayer, программное обеспечение автоматически добавляет один для вас.

Определение количества, типа и размера слоев для представления глубокой нейронной сети может оказаться трудным и зависящим от приложения. Однако самый критический компонент при принятии решения о характеристиках аппроксимации функции заключается в том, способен ли он аппроксимировать оптимальную политику или дисконтированную функцию ценности для вашего приложения, то есть имеет ли он слои, которые могут правильно узнать функции ваших сигналов наблюдения, действия и вознаграждения.

Примите во внимание следующие советы при построении сети.

Создайте и сконфигурируйте представление

Чтобы создать представление критика для глубокой нейронной сети, используйте rlValueRepresentation или rlQValueRepresentation объект. Чтобы создать представление актера для глубокой нейронной сети, используйте rlDeterministicActorRepresentation или rlStochasticActorRepresentation объект. Чтобы сконфигурировать скорость обучения и оптимизацию, используемые представлением, используйте rlRepresentationOptions объект.

Для примера создайте объект представления Q-значений для сети критика criticNetwork, указание скорости обучения в 0.0001. Когда вы создаете представление, передайте спецификации действий и наблюдений окружения в rlQValueRepresentation объект, и задавать имена слоев сети, с которыми связаны наблюдения и действия (в данном случае 'observation' и 'action').

opt = rlRepresentationOptions('LearnRate',0.0001);
critic = rlQValueRepresentation(criticNetwork,obsInfo,actInfo,...
        'Observation',{'observation'},'Action',{'action'},opt);

Когда вы создаете глубокую нейронную сеть и конфигурируете объект представления, рассмотрите использование следующего подхода в качестве начальной точки.

Кроме того, примите во внимание следующие советы при конфигурировании представления глубокой нейронной сети.

Рекуррентные нейронные сети

При создании представлений для использования с любым агентом, кроме Q и SARSA, можно использовать рекуррентные нейронные сети (RNN). Эти сети являются глубокими нейронными сетями с sequenceInputLayer входной слой и, по меньшей мере, один слой, который имеет скрытую информацию о состоянии, например, lstmLayer. Они могут быть особенно полезны, когда окружение имеет состояния, которые не могут быть включены в вектор наблюдения.

Для агентов, у которых есть как актёр, так и критик, необходимо либо использовать RNN для них обоих, либо не использовать RNN для кого-либо из них. Вы не можете использовать RNN только для критика или только для актёра.

При использовании агентов PG длина траектории обучения для RNN является целым эпизодом. Для агента AC, NumStepsToLookAhead свойство is options object рассматривается как длина обучающей траектории. Для агента PPO длина траектории является MiniBatchSize свойство его опций объекта.

Для агентов DQN, DDPG, SAC и TD3 необходимо задать длину обучения траектории как целое число, больше единицы в SequenceLength свойство их опций объекта.

Обратите внимание, что генерация кода не поддерживается для непрерывных действий PG, AC, PPO и агентов SAC, использующих рекуррентную нейронную сеть (RNN), или для любого агента, имеющего несколько входных путей и содержащего RNN в любом из путей.

Для получения дополнительной информации и примеров о политиках и функциях ценности смотрите rlValueRepresentation, rlQValueRepresentation, rlDeterministicActorRepresentation, и rlStochasticActorRepresentation.