Документация

Скрипты обертки

Демонстрационные сменные скрипты используют скрипты обертки, чтобы упростить реализацию independentSubmitFcn.m и communicatingSubmitFcn.m. Эти скрипты не требуются, однако, использование их является хорошей практикой, чтобы сделать ваш код более читаемым. Эта таблица описывает эти скрипты:

independentSubmitFcn

Когда вы представляете независимое задание типовому кластеру, independentSubmitFcn.m функция выполняется на клиентском сеансе MATLAB.

Линия объявления этой функции должна быть:

function independentSubmitFcn(cluster,job,environmentProperties)

Каждая задача в MATLAB независимое задание соответствует одному заданию на вашем планировщике. Цель этой функции состоит в том, чтобы представить N задания к вашему стороннему планировщику, где N количество задач в независимом задании. Каждое из этих заданий должно:

Сконфигурируйте среду рабочего.  Эта таблица идентифицирует эти пять переменных окружения и значения, которые должны быть установлены на рабочем MATLAB, чтобы запустить отдельную задачу:

Много поддержки планировщиков, копирующей клиентскую среду как часть команды представления. Если так, можно установить предыдущие переменные окружения в клиенте, таким образом, планировщик может скопировать их в среду рабочего. В противном случае необходимо изменить команду представления, чтобы передать эти переменные.

Представьте задания планировщика, чтобы запустить работников MATLAB.  Если эти пять обязательных параметров для данного задания и задачи заданы на рабочем, задача запущена путем вызова исполняемого файла MATLAB с подходящими аргументами. Исполняемый файл MATLAB, чтобы вызвать задан в environmentProperties.MatlabExecutable. Аргументы, чтобы передать заданы в environmentProperties.MatlabArguments.

Демонстрационный скрипт для планировщика SLURM.  Этот скрипт показывает, что основное представляет функцию для планировщика SLURM с совместно используемой файловой системой. Для более полного примера см. Демонстрационные Сменные Скрипты.

function independentSubmitFcn(cluster,job,environmentProperties)
    % Specify the required environment variables.
    setenv('PARALLEL_SERVER_DECODE_FUNCTION', 'parallel.cluster.generic.independentDecodeFcn');
    setenv('PARALLEL_SERVER_STORAGE_CONSTRUCTOR', environmentProperties.StorageConstructor);
    setenv('PARALLEL_SERVER_STORAGE_LOCATION', environmentProperties.StorageLocation);
    setenv('PARALLEL_SERVER_JOB_LOCATION', environmentProperties.JobLocation);
    
    % Specify the MATLAB executable and arguments to run on the worker.
    % These are used in the independentJobWrapper.sh script.
    setenv('PARALLEL_SERVER_MATLAB_EXE', environmentProperties.MatlabExecutable);
    setenv('PARALLEL_SERVER_MATLAB_ARGS', environmentProperties.MatlabArguments);
    
    for ii = 1:environmentProperties.NumberOfTasks
        % Specify the environment variable required to identify which task to run.
        setenv('PARALLEL_SERVER_TASK_LOCATION', environmentProperties.TaskLocations{ii});
        % Specify the command to submit the job to the SLURM scheduler.
        % SLURM will automatically copy environment variables to workers.
        commandToRun = 'sbatch --ntasks=1 independentJobWrapper.sh';
        [cmdFailed, cmdOut] = system(commandToRun);
    end
end
 

Предыдущий пример представляет простой скрипт удара, independentJobWrapper.sh, к планировщику. independentJobWrapper.sh скрипт встраивает исполняемый файл MATLAB и аргументы с помощью переменных окружения:

#!/bin/sh
# PARALLEL_SERVER_MATLAB_EXE - the MATLAB executable to use
# PARALLEL_SERVER_MATLAB_ARGS - the MATLAB args to use
exec "${PARALLEL_SERVER_MATLAB_EXE}" ${PARALLEL_SERVER_MATLAB_ARGS}

communicatingSubmitFcn

Когда вы представляете связывающееся задание типовому кластеру, communicatingSubmitFcn.m функция выполняется на клиентском сеансе MATLAB.

Линия объявления этой функции должна быть:

function communicatingSubmitFcn(cluster,job,environmentProperties)

Цель этой функции состоит в том, чтобы представить одно задание вашему планировщику. Это задание должно:

Сконфигурируйте среду рабочего.  Эта таблица идентифицирует эти четыре переменные окружения и значения, которые должны быть установлены на рабочем MATLAB, чтобы запустить задачу связывающегося задания:

Много поддержки планировщиков, копирующей клиентскую среду как часть команды представления. Если так, можно установить предыдущие переменные окружения в клиенте, таким образом, планировщик может скопировать их в среду рабочего. В противном случае необходимо изменить команду представления, чтобы передать эти переменные.

Представьте задание планировщика, чтобы запустить процесс MPI.  После того, как вы задаете эти четыре обязательных параметра для данного задания, запускаете ваше задание путем запуска N рабочий процессы MATLAB с помощью mpiexec. mpiexec программное обеспечение, поставленное с Parallel Computing Toolbox™, который реализует стандарт Интерфейса передачи сообщений (MPI), чтобы позволить связь между рабочим процессы MATLAB. Для получения дополнительной информации о mpiexec, смотрите домашнюю страницу MPICH.

Чтобы запустить ваше задание, необходимо представить задание планировщику, который выполняет следующие шаги. Обратите внимание на то, что matlabroot относится к местоположению установки MATLAB на ваших узлах рабочего.

Демонстрационный скрипт для планировщика SLURM.  Следующий скрипт показывает, что основное представляет функцию для планировщика SLURM с совместно используемой файловой системой.

Представленное задание содержится в скрипте удара, communicatingJobWrapper.sh. Этот скрипт реализует соответствующие шаги в, Представляют задание планировщика, чтобы запустить процесс MPI для планировщика SLURM. Для более полного примера см. Демонстрационные Сменные Скрипты.

function communicatingSubmitFcn(cluster,job,environmentProperties)
    % Specify the four required environment variables.
    setenv('PARALLEL_SERVER_DECODE_FUNCTION', 'parallel.cluster.generic.communicatingDecodeFcn');
    setenv('PARALLEL_SERVER_STORAGE_CONSTRUCTOR', environmentProperties.StorageConstructor);
    setenv('PARALLEL_SERVER_STORAGE_LOCATION', environmentProperties.StorageLocation);
    setenv('PARALLEL_SERVER_JOB_LOCATION', environmentProperties.JobLocation);
    
    % Specify the MATLAB executable and arguments to run on the worker.
    % Specify the location of the MATLAB install on the cluster nodes.
    % These are used in the communicatingJobWrapper.sh script.
    setenv('PARALLEL_SERVER_MATLAB_EXE', environmentProperties.MatlabExecutable);
    setenv('PARALLEL_SERVER_MATLAB_ARGS', environmentProperties.MatlabArguments);
    setenv('PARALLEL_SERVER_CMR', cluster.ClusterMatlabRoot);
    
    numberOfTasks = environmentProperties.NumberOfTasks;
    
    % Specify the command to submit a job to the SLURM scheduler which
    % requests as many processes as tasks in the job.
    % SLURM will automatically copy environment variables to workers.
    commandToRun = sprintf('sbatch --ntasks=%d communicatingJobWrapper.sh', numberOfTasks);
    [cmdFailed, cmdOut] = system(commandToRun);
end

getJobStateFcn

То, когда вы запрашиваете состояние задания, создало с типовым кластером, getJobStateFcn.m функция выполняется на клиентском сеансе MATLAB. Линия объявления этой функции должна быть:

function state = getJobStateFcn(cluster,job,state)

При использовании стороннего планировщика возможно, что планировщик может иметь больше актуальной информации о ваших заданиях, чем, что доступно для тулбокса от локального места хранения задания. Эта ситуация особенно верна при использовании неразделяемой файловой системы, где удаленная файловая система могла быть медленной в распространении больших файлов данных назад к локальному расположению данных.

Чтобы получить ту информацию из планировщика, добавьте функцию под названием getJobStateFcn.m к PluginScriptsLocation вашего кластера.

Состояние, переданное в эту функцию, является состоянием, выведенным из локального устройства хранения данных задания. Тело этой функции может затем запросить планировщик, чтобы определить более точное состояние для задания и возвратить его вместо сохраненного состояния. Функция, которую вы пишете с этой целью, должна возвратить допустимое значение для состояния объекта задания. Позволенными значениями является ‘pending’, ‘queued’, ‘running’, ‘finished’, или ‘failed’.

Для получения инструкций по соединению задач MATLAB с их соответствующим ID задания планировщика смотрите Задания Управления с Типовым Планировщиком.

cancelJobFcn

То, когда вы отменяете задание, создало с типовым кластером, cancelJobFcn.m функция выполняется на клиентском сеансе MATLAB. Линия объявления этой функции должна быть:

function OK = cancelJobFcn(cluster,job)

То, когда вы отменяете задание, создало использование типового интерфейса планировщика, по умолчанию это действие влияет только на данные о задании в устройстве хранения данных. Чтобы отменить соответствующие задания на вашем планировщике, необходимо предоставить инструкции относительно того, что сделать и когда сделать это к планировщику. Чтобы достигнуть этого, добавьте функцию под названием cancelJobFcn.m к PluginScriptsLocation вашего кластера.

Тело этой функции может затем отправить команду в планировщик, например, чтобы удалить соответствующие задания из очереди. Функция должна возвратить логический скаляр, указывающий на успешность или неуспешность отмены заданий на планировщике.

Для получения инструкций по соединению задач MATLAB с их соответствующим ID задания планировщика смотрите Задания Управления с Типовым Планировщиком.

cancelTaskFcn

То, когда вы отменяете задачу, создало с типовым кластером, cancelTaskFcn.m функция выполняется на клиентском сеансе MATLAB. Линия объявления этой функции должна быть:

function OK = cancelTaskFcn(cluster,task)

То, когда вы отменяете задачу, создало использование типового интерфейса планировщика, по умолчанию, это влияет только на данные о задаче в устройстве хранения данных. Чтобы отменить соответствующее задание на вашем планировщике, необходимо предоставить инструкции относительно того, что сделать и когда сделать это к планировщику. Чтобы достигнуть этого, добавьте функцию под названием cancelTaskFcn.m к PluginScriptsLocation вашего кластера.

Тело этой функции может затем отправить команду в планировщик, например, чтобы удалить соответствующее задание из очереди планировщика. Функция должна возвратить логический скаляр, указывающий на успешность или неуспешность отмены задания на планировщике.

Для получения инструкций по соединению задач MATLAB с их соответствующим ID задания планировщика смотрите Задания Управления с Типовым Планировщиком.

deleteJobFcn

То, когда вы удаляете задание, создало с типовым кластером, deleteJobFcn.m функция выполняется на клиентском сеансе MATLAB. Линия объявления этой функции должна быть:

function deleteTaskFcn(cluster,task)

То, когда вы удаляете задание, создало использование типового интерфейса планировщика, по умолчанию, это влияет только на данные о задании в устройстве хранения данных. Чтобы удалить соответствующие задания на вашем планировщике, необходимо предоставить инструкции относительно того, что сделать и когда сделать это к планировщику. Чтобы достигнуть этого, добавьте функцию под названием deleteJobFcn.m к PluginScriptsLocation вашего кластера.

Тело этой функции может затем отправить команду в планировщик, например, чтобы удалить соответствующие задания из очереди планировщика.

Для получения инструкций по соединению задач MATLAB с их соответствующим ID задания планировщика смотрите Задания Управления с Типовым Планировщиком.

deleteTaskFcn

То, когда вы удаляете задачу, создало с типовым кластером, deleteTaskFcn.m функция выполняется на клиентском сеансе MATLAB. Линия объявления этой функции должна быть:

function deleteTaskFcn(cluster,task)

То, когда вы удаляете задачу, создало использование типового интерфейса планировщика, по умолчанию, это влияет только на данные о задаче в устройстве хранения данных. Чтобы удалить соответствующее задание на вашем планировщике, необходимо предоставить инструкции относительно того, что сделать и когда сделать это к планировщику. Чтобы достигнуть этого, добавьте функцию под названием deleteTaskFcn.m к PluginScriptsLocation вашего кластера.

Тело этой функции может затем отправить команду в планировщик, например, чтобы удалить соответствующее задание из очереди планировщика.

Для получения инструкций по соединению задач MATLAB с их соответствующим ID задания планировщика смотрите Задания Управления с Типовым Планировщиком.

postConstructFcn

После того, как вы создаете экземпляр своего кластера в MATLAB, postConstructFcn.m функция выполняется на клиентском сеансе MATLAB. Например, следующая строка кода создает экземпляр вашего кластера и запускает postConstructFcn функция сопоставлена с ‘myProfile’ кластерный профиль:

c = parcluster('myProfile');

Линия объявления postConstructFcn функция должна быть:

function postConstructFcn(cluster)

Если необходимо выполнить пользовательскую конфигурацию кластера перед его использованием, добавьте функцию под названием postConstructFcn.m к PluginScriptsLocation из вашего кластера. Тело этой функции может содержать любые дополнительные шаги настройки, которых вы требуете.

Установка AdditionalProperties от кластерного менеджера по профилю

С модификацией к вашим скриптам в предыдущем примере можно добавить запись AdditionalProperties в типовой кластерный профиль, чтобы задать список узлов, чтобы использовать. Это предоставляет метод документирования индивидуальной настройки, добавленной к вашим сменным скриптам для любого, с кем вы совместно используете кластерный профиль.

Добавить NodeList свойство к вашему кластерному профилю:

Установка AdditionalProperties из командной строки MATLAB

С модификацией к вашим скриптам в Добавлении Пользовательской настройки можно отредактировать список узлов из командной строки MATLAB путем установки соответствующего свойства кластерного объекта прежде, чем представить задание:

c = parcluster;
c.AdditionalProperties.NodeList = 'gpuNodeName';
j = c.batch('myScript'); 

Отобразите AdditionalProperties объект видеть все в настоящее время заданные свойства и их значения:

>> c.AdditionalProperties
ans = 
  AdditionalProperties with properties:
                 ClusterHost: 'myClusterHost'
                    NodeList: 'gpuNodeName'
    RemoteJobStorageLocation: '/tmp/jobs'

Сохраните данные о планировщике задания

В этом примере показано, как изменить independentSubmitFcn.m функционируйте, чтобы проанализировать выход каждой команды, представленной планировщику SLURM. Можно использовать регулярные выражения, чтобы извлечь ID задания планировщика для каждой задачи и затем сохранить его использование setJobClusterData.

% Pattern to extract scheduler job ID from SLURM sbatch output
searchPattern = '.*Submitted batch job ([0-9]+).*';
 
jobIDs = cell(numberOfTasks, 1);
for ii = 1:numberOfTasks
    setenv('PARALLEL_SERVER_TASK_LOCATION', environmentProperties.TaskLocations{ii});
    commandToRun = 'sbatch --ntasks=1 independentJobWrapper.sh';
    [cmdFailed, cmdOut] = system(commandToRun);
    jobIDs{ii} = regexp(cmdOut, searchPattern, 'tokens', 'once');
end
 
% set the job IDs on the job cluster data
cluster.setJobClusterData(job, struct('ClusterJobIDs', {jobIDs}));

Получите данные о планировщике задания

Этот пример изменяет cancelJobFcn.m отменять соответствующие задания на планировщике SLURM. Использование в качестве примера getJobClusterData получать данные о планировщике задания.

function OK = cancelJobFcn(cluster, job)

% Get the scheduler information for this job
data = cluster.getJobClusterData(job);
jobIDs = data.ClusterJobIDs;

for ii = 1:length(jobIDs)
    % Tell the SLURM scheduler to cancel the job
    commandToRun = sprintf('scancel ''%s''', jobIDs{ii});
    [cmdFailed, cmdOut] = system(commandToRun);
end

OK = true;