Сконфигурируйте Используя типичный интерфейс планировщика

Типичный интерфейс планировщика обеспечивает гибкость, чтобы сконфигурировать взаимодействие клиента MATLAB®, работников MATLAB и стороннего планировщика. Используйте типичный интерфейс планировщика, когда это необходимо завершают индивидуальную настройку для взаимодействия через интерфейс с MATLAB с вашей настройкой планировщика.

Необходимо использовать типичный интерфейс планировщика когда:

  • Взаимодействие через интерфейс с MATLAB со сторонними планировщиками, не уже поддержанными прямой интеграцией. Планировщики, поддержанные прямой интеграцией, включают SLURM, PBS Pro, Крутящий момент, LSF и Сервер HPC.

  • Взаимодействие через интерфейс с MATLAB и сторонними планировщиками, которые не имеют совместно используемой файловой системы между клиентом MATLAB и кластерными узлами.

  • Используя клиентскую машину MATLAB, которая не имеет сторонних утилит планировщика установленными.

Взаимодействие через интерфейс с типичными планировщиками

Типичный интерфейс планировщика обеспечивает средние значения получения задач с вашего клиентского сеанса Parallel Computing Toolbox™ на ваш планировщик и кластерные узлы. Чтобы достигнуть этого, необходимо предоставить типичному планировщику набор скриптов интегрирования. Скрипты содержат инструкции, характерные для вашей кластерной инфраструктуры, такой как, как связаться с планировщиком задания, и как передать задание и данные о задаче к кластерным узлам.

Поддержите скрипты

Чтобы поддержать использование типичного интерфейса планировщика, следующие сторонние планировщики предоставляют скрипты интегрирования:

Каждый инсталлятор предоставляет скрипты для трех возможных режимов представления:

  • Совместно использованный – Когда клиент может подчиниться непосредственно планировщику, и клиенту и кластерным машинам, имеют совместно используемую файловую систему.

  • Удаленный – Когда у клиента и кластерных машин есть совместно используемая файловая система, но клиентская машина не может подчиниться непосредственно планировщику, такой как тогда, когда клиентские утилиты планировщика не установлены. В этом случае удаленный хост представляет команды планировщику с помощью протокола ssh.

  • Несовместно использованный – Когда у клиента и кластерных машин нет совместно используемой файловой системы. Этот режим использует протокол ssh, чтобы представить команды планировщику с помощью удаленного хоста, и это использует протокол sftp, чтобы скопировать задание и файлы задачи к кластерной файловой системе.

Каждый режим представления имеет свою собственную подпапку в папке установки. Эти подпапки содержат файл README, который обеспечивает конкретные инструкции о том, как использовать скрипты. Перед использованием скриптов решите, какой режим представления описывает вашу сетевую настройку.

Чтобы запустить установщика, загрузите соответствующий пакет поддержки для своего планировщика и откройте его в вашем клиенте MATLAB. Инсталлятор включает мастер, чтобы провести вас по созданию кластерного профиля для вашей кластерной конфигурации.

Если ваш планировщик или кластерная конфигурация не поддержаны одним из пакетов поддержки, рекомендуется, чтобы вы изменили скрипты одного из этих пакетов. Для получения дополнительной информации о том, как записать набор скриптов интегрирования для типичных планировщиков, см. Скрипты Интегрирования для Типичных Планировщиков (Parallel Computing Toolbox).

Создание типичного кластерного профиля

Демонстрационный Setup для LSF

Этот пример показывает, как установить ваш кластерный профиль, чтобы использовать типичный интерфейс планировщика. Это разоблачает набор планировщика LSF в сети без совместно используемой файловой системы между клиентом и кластерными машинами. Следующая схема иллюстрирует кластерную настройку:

В этом типе настройки данные о задании копируются с хоста клиента, запускающего операционную систему Windows к хосту на кластере (кластерный узел входа в систему) выполнение операционной системы UNIX®. От кластерного узла входа в систему команда bsub LSF представляет задание планировщику. Когда задание заканчивается, его вывод копируется назад в хост клиента.

Требования

Настройка должна ответить следующим условиям:

  • Клиентский узел и кластерный узел входа в систему должны поддержать ssh и sftp.

  • Кластерный узел входа в систему должен смочь вызвать команду bsub, чтобы представить задание планировщику LSF. Можно найти больше об этом в файле README в подпапке nonshared в папке установки.

Запустите установщика LSF

  1. Загрузите инсталлятор для LSF отсюда.

  2. Запустите установщика путем открытия файла из клиента MATLAB.

Инсталлятор загружает скрипты интегрирования на подпапку nonshared в папке установки. Мастер инсталлятора проводит вас по шагам, чтобы создать и подтвердить кластерный профиль.

Подтвердите кластерный профиль и установку

Можно задать количество рабочих, чтобы использовать при проверке профиля. Если вы не задаете количество рабочих во вкладке Validation, то процесс валидации пытается использовать столько рабочих сколько значение, заданное свойством NumWorkers на вкладке Properties. Можно задать меньшее число рабочих, чтобы подтвердить настройку, не занимая целый кластер.

  1. Запустите Кластерного менеджера по Профилю с рабочего стола MATLAB. На вкладке Home, в области Environment, выбирают Parallel > Manage Cluster Profiles.

  2. Выберите свой кластерный профиль в листинге.

  3. Кликните по вкладке Validation.

  4. Используйте флажки, чтобы выбрать все тесты или подмножество этапов валидации, и задать количество рабочих, чтобы использовать при проверке профиля.

  5. Нажмите Validate.

Вкладка результатов Validation показывает вывод. Следующие данные показывают результаты профиля, который прошел все тесты валидации.

Примечание

Если ваша валидация приводит какой-либо этап к сбою, свяжитесь со службой поддержки установки MathWorks.

Если ваша валидация передает, у вас есть допустимый профиль, который можно использовать в других параллельных приложениях. Можно сделать любые модификации к профилю, которые подходят для приложений, таковы как NumWorkersRange, AttachedFiles или AdditionalPaths.

Чтобы сохранить ваш профиль для других пользователей, выберите профиль и нажмите Export. Затем сохраните свой профиль в файл в удобном месте. При выполнении Кластерного менеджера по Профилю другие пользователи могут импортировать профиль путем нажатия на Import.

Чтобы изучить, как распределить типичный кластерный профиль и скрипты интегрирования для других, чтобы использовать, смотрите, Распределяют Типичные Кластерные Скрипты Профиля и Интегрирования.

Вручную сконфигурируйте кластерный профиль

Если вы хотите изменить существующий типичный кластерный профиль, можно сконфигурировать профиль вручную. Если вы создаете профиль впервые, и вы используете один из предоставленных скриптов поддержки, используете мастер инсталлятора вместо этого: Запустите Установщика LSF. Следующие шаги воспроизводят вручную настройку, выполняемую инсталлятором. Можно изменить любую из этих опций в зависимости от настройки.

  1. Запустите сеанс работы с MATLAB на хосте клиента.

  2. Запустите Кластерного менеджера по Профилю с рабочего стола MATLAB. На вкладке Home, в области Environment, выбирают Parallel> Manage Cluster Profiles.

  3. Создайте новый профиль в Кластерном менеджере по Профилю путем выбора Add> Custom> Generic.

  4. С новым профилем, выбранным в списке, выберите Rename и поменяйте имя профиля на InstallTest. Нажмите Enter.

  5. Во вкладке Properties выберите Edit и обеспечьте настройки для следующих полей:

    1. Установите поле Description на Для тестирования установки.

    2. Установите JobStorageLocation на местоположение, где вы хотите, чтобы задание и данные о задаче хранились на клиентской машине (не кластерное местоположение), например, C:\Temp\joblocation.

      Вы не должны совместно использовать JobStorageLocation среди продуктов параллельных вычислений, запускающих различные версии. Каждая версия на вашем кластере должна иметь свой собственный JobStorageLocation.

    3. Установите NumWorkers на количество рабочих, на которых вы хотите протестировать свою установку.

    4. Установите NumThreads на количество потоков использовать на каждом рабочем.

    5. Установите ClusterMatlabRoot на местоположение установки MATLAB работать на машинах рабочего.

    6. Если кластер использует онлайн лицензирование, установите RequiresOnlineLicensing на истину.

    7. Если вы устанавливаете RequiresOnlineLicensing на true, введите свой LicenseNumber.

    8. Установите OperatingSystem на операционную систему ваших кластерных машин рабочего.

    9. Установите HasSharedFilesystem на false. Эта установка указывает, что клиентский узел и узлы рабочего не могут совместно использовать то же местоположение данных.

    10. Установите IntegrationScriptsLocation на местоположение ваших скриптов интегрирования. В этом примере местоположение является подпапкой nonshared в папке установки LSF. Как часть использования скриптов в качестве примера в режиме представления nonshared, набор свойства на шагах k и l.

    11. В таблице AdditionalProperties выберите Add. Задайте новое свойство с именем ClusterHost, значение cluster-host-name, и введите String.

    12. В таблице AdditionalProperties выберите Add. Задайте новое свойство с именем RemoteJobStorageLocation, значение /network/share/joblocation, и введите String.

  6. Нажмите Done, чтобы сохранить ваши кластерные изменения профиля. Диалоговое окно смотрит можно следующим образом:

Чтобы проверять, что профиль работает, выполните валидацию, выполняющую шаги в, Подтверждают Кластерный Профиль и Установку.

Специальные настройки

В зависимости от вашей кластерной архитектуры вы можете должны быть выполнить дополнительные задачи, прежде чем вы соединитесь со своим типичным планировщиком.

Пользовательские сборки MPI

Можно использовать сборку MPI, которая отличается от того, которому предоставляют Parallel Computing Toolbox. Для получения дополнительной информации об использовании этой опции с типичным интерфейсом планировщика смотрите Использование, Различный MPI Основывается на Системах UNIX.

Запустите связывающиеся задания с семейством Engine сетки

Демонстрационные скрипты для семейства Engine Сетки полагаются на присутствие среды параллели matlab. Параллельные среды (PE) являются средами программирования, разработанными для параллельных вычислений в кластерах. Чтобы запустить связывающиеся задания с MATLAB Parallel Server™ и кластером семейства Engine Сетки, необходимо установить среду параллели matlab.

Создайте Параллельную Среду.  Следующие шаги создают параллельную среду, и затем делают ее выполнимой на всех очередях. Как лучшая практика, выполните эти шаги на главном узле вашего кластера. Некоторые шаги требуют доступа администратора.

  1. Загрузите и запустите установщика для Engine Сетки от семейства Engine Сетки.

  2. Перейдите к местоположению соответствующих скриптов интегрирования для вашего режима представления в папке установки.

  3. Измените содержимое matlabpe.template, чтобы использовать количество слотов, которые вы хотите и правильное местоположение файлов stopmatlabpe.sh и startmatlabpe.sh. Эти файлы могут существовать в общем ресурсе, доступном всеми хостами, или можно скопировать их в то же местоположение на каждом хосте. Можно также изменить другие значения или добавить дополнительные значения в matlabpe.template, чтобы удовлетворить кластеру. Для получения дополнительной информации обратитесь к документации sge_pe, которой предоставляют ваш планировщик.

  4. Добавьте среду параллели matlab, с помощью команды интерпретатора, такой как:

    qconf -Ap matlabpe.template

  5. Сделайте среду параллели matlab выполнимой на всех очередях:

    qconf -mq all.q
    Эта команда поднимает текстовый редактор для вас, чтобы внести изменения. Ищите строку pe_list и добавьте matlab.

  6. Гарантируйте, что можно представить тривиальное задание PE:

    $ echo "hostname" | qsub -pe matlab 1

  7. Используйте qstat, чтобы проверять, что задание запускается правильно, и проверяйте, что выходной файл содержит имя хоста, который запустил задание. Именем файла по умолчанию для выходного файла является ~/STDIN.o###, где ### является номером задания Engine Сетки.

Примечание

Если вы меняете имя параллельной среды к чему-то другому, чем matlab, также изменяете представить функции.

Сконфигурируйте брандмауэры на Windows Cluster

Если вы используете брандмауэры Windows на своих кластерных узлах, можно добавить MATLAB как позволенную программу.

В следующих инструкциях matlabroot относится к местоположению установки MATLAB.

  1. Войдите в систему в качестве пользователя с административными привилегиями.

  2. Выполните следующий скрипт в окне команды DOS:

    matlabroot\toolbox\distcomp\bin\addMatlabToWindowsFirewall.bat

Если вы используете другие брандмауэры, необходимо сконфигурировать их отдельно, чтобы добавить MATLAB как позволенную программу.

Похожие темы

Документация MATLAB Parallel Server
Поддержка
Для просмотра документации необходимо авторизоваться на сайте