Сконфигурируйте Используя типовой интерфейс планировщика

Типовой интерфейс планировщика обеспечивает гибкость, чтобы сконфигурировать взаимодействие клиента MATLAB®, работников MATLAB и стороннего планировщика. Используйте типовой интерфейс планировщика, когда это необходимо, завершают индивидуальную настройку для взаимодействия через интерфейс с MATLAB с вашей настройкой планировщика.

Необходимо использовать типовой интерфейс планировщика когда:

  • Взаимодействие через интерфейс с MATLAB со сторонними планировщиками без программной поддержки. Планировщиками с программной поддержкой является Slurm, PBS Pro, Крутящий момент, LSF и Сервер HPC.

  • Взаимодействие через интерфейс с MATLAB и сторонними планировщиками, которые не имеют совместно используемой файловой системы между клиентом MATLAB и кластерными узлами.

  • Используя клиентскую машину MATLAB, которая не имеет сторонних утилит планировщика установленными.

Интерфейс со сторонними планировщиками

Типовой интерфейс планировщика обеспечивает средние значения получения задач с вашего клиентского сеанса Parallel Computing Toolbox™ на ваш планировщик и кластерные узлы. Чтобы достигнуть этого, необходимо предоставить клиенту MATLAB набор сменных скриптов. Скрипты содержат инструкции, характерные для вашей кластерной инфраструктуры, такой как, как связаться с планировщиком задания, и как передать задание и данные о задаче к кластерным узлам.

Поддержите скрипты

Чтобы помочь вам взаимодействовать через интерфейс с вашим планировщиком, MathWorks® обеспечивает дополнения или плагины, для следующих сторонних планировщиков, которые можно загрузить и установить из Add-On Manager.

  • Плагин Parallel Computing Toolbox для MATLAB Parallel Server™ с Slurm

  • Плагин Parallel Computing Toolbox для MATLAB Parallel Server с Платформой IBM LSF

  • Плагин Parallel Computing Toolbox для MATLAB Parallel Server с Engine Сетки

  • Плагин Parallel Computing Toolbox для MATLAB Parallel Server с PBS

  • Плагин Parallel Computing Toolbox для MATLAB Parallel Server с HTCondor

На вкладке Home, в области Environment, нажимают Add-Ons. В Add-On Explorer ищите дополнение и установите его. Инсталлятор включает мастер, чтобы провести вас по созданию кластерного профиля для вашей кластерной конфигурации.

В качестве альтернативы можно загрузить плагины с этих местоположений:

Чтобы установить плагин, дважды щелкают по нему или перетаскивают его и пропускают его в MATLAB.

Каждый инсталлятор создает скрипты для трех возможных режимов представления:

  • Совместно использованный – Когда клиент может подчиниться непосредственно планировщику, и клиенту и кластерным машинам, имеют совместно используемую файловую систему.

  • Удаленный – Когда у клиента и кластерных машин есть совместно используемая файловая система, но клиентская машина не может подчиниться непосредственно планировщику, такой как тогда, когда клиентские утилиты планировщика не установлены. В этом случае удаленный хост представляет команды планировщику с помощью ssh протокол.

  • Несовместно использованный – Когда у клиента и кластерных машин нет совместно используемой файловой системы. Этот режим использует ssh протокол, чтобы представить команды планировщику с помощью удаленного хоста, и это использует sftp протокол, чтобы скопировать задание и файлы задачи к кластерной файловой системе.

Каждый режим представления имеет свою собственную подпапку в папке установки. Эти подпапки содержат README файл, который обеспечивает конкретные инструкции о том, как использовать скрипты. Перед использованием скриптов решите, какой режим представления описывает вашу сетевую настройку.

Если вы хотите настроить поведение сменных скриптов, можно установить дополнительные свойства, такие как AdditionalSubmitArgs. Для получения дополнительной информации смотрите, Настраивают Поведение Демонстрационных Сменных Скриптов.

Если ваш планировщик или кластерная конфигурация не поддерживаются одним из пакетов поддержки, рекомендуется, чтобы вы изменили скрипты одного из этих пакетов. Для получения дополнительной информации о том, как записать набор сменных скриптов для типовых планировщиков, см. Сменные Скрипты для Типовых Планировщиков (Parallel Computing Toolbox).

Создайте типовой кластерный профиль

Демонстрационный Setup для LSF

В этом примере показано, как установить ваш кластерный профиль, чтобы использовать типовой интерфейс планировщика. Это разоблачает набор планировщика LSF в сети без совместно используемой файловой системы между клиентом и кластерными машинами. Следующая схема иллюстрирует кластерную настройку:

В этом типе настройки данные о задании копируются с хоста клиента, запускающего операционную систему Windows к хосту в кластере (кластерный узел входа в систему) выполнение операционной системы UNIX®. От кластерного узла входа в систему, bsub LSF команда представляет задание планировщику. Когда задание заканчивается, его выход копируется назад в хост клиента.

Требования

Настройка должна ответить следующим условиям:

  • Клиентский узел и кластерный узел входа в систему должны поддержать ssh и sftp.

  • Кластерный узел входа в систему должен смочь вызвать bsub команда, чтобы представить задание планировщику LSF. Можно найти больше об этом в README файл в nonshared подпапка в папке установки.

Запустите установщика LSF

  1. Загрузите инсталлятор для LSF отсюда.

  2. Запустите установщика путем открытия файла из клиента MATLAB.

Инсталлятор загружает сменные скрипты на nonshared подпапка в папке установки. Мастер инсталлятора проводит вас по шагам, чтобы создать и подтвердить кластерный профиль.

Подтвердите кластерный профиль и установку

Можно задать количество рабочих, чтобы использовать при проверке профиля. Если вы не задаете количество рабочих во вкладке Validation, то процесс валидации пытается использовать столько рабочих сколько значение, заданное свойством NumWorkers на вкладке Properties. Можно задать меньшее число рабочих, чтобы подтвердить настройку, не занимая целый кластер.

  1. Запустите Кластерного менеджера по Профилю с рабочего стола MATLAB. На вкладке Home, в области Environment, выбирают Parallel > Create and Manage Clusters.

  2. Выберите свой кластерный профиль в листинге.

  3. Кликните по вкладке Validation.

  4. Используйте флажки, чтобы выбрать все тесты или подмножество этапов валидации, и задать количество рабочих, чтобы использовать при проверке профиля.

  5. Нажмите Validate.

Вкладка результатов Validation показывает выход. Следующий рисунок показывает результаты профиля, который прошел все тесты валидации.

Примечание

Если ваша валидация приводит какой-либо этап к сбою, свяжитесь со службой поддержки установки MathWorks.

Если ваша валидация передает, у вас есть допустимый профиль, который можно использовать в других параллельных приложениях. Можно сделать любые модификации к профилю, которые подходят для приложений, таковы как NumWorkersRange, AttachedFiles или AdditionalPaths.

Чтобы сохранить ваш профиль для других пользователей, выберите профиль и нажмите Export. Затем сохраните свой профиль в файл в удобном месте. При выполнении Кластерного менеджера по Профилю другие пользователи могут импортировать профиль путем нажатия на Import.

Чтобы изучить, как распределить типовой кластерный профиль и сменные скрипты для других, чтобы использовать, смотрите, Распределяют Типовой Кластерный Профиль и Сменные Скрипты.

Вручную сконфигурируйте кластерный профиль

Если вы хотите изменить существующий типовой кластерный профиль, можно сконфигурировать профиль вручную. Если вы создаете профиль впервые, и вы используете один из предоставленных скриптов поддержки, используете мастер инсталлятора вместо этого: Запуститесь следующие шаги LSF Installer.The воспроизводят вручную настройку, выполняемую инсталлятором. Можно изменить любую из этих опций в зависимости от настройки.

  1. Запустите сеанс работы с MATLAB на хосте клиента.

  2. Запустите Кластерного менеджера по Профилю с рабочего стола MATLAB. На вкладке Home, в области Environment, выбирают Parallel> Create and Manage Clusters.

  3. Создайте новый профиль в Кластерном менеджере по Профилю путем выбора Add> Custom> Generic.

  4. С новым профилем, выбранным в списке, выберите Rename и поменяйте имя профиля на InstallTest. Нажмите Enter.

  5. Во вкладке Properties выберите Edit и обеспечьте настройки для следующих полей:

    1. Установите поле Description на Для тестирования установки.

    2. Установите JobStorageLocation на местоположение, где вы хотите, чтобы задание и данные о задаче хранились на клиентской машине (не кластерное местоположение), например, C:\Temp\joblocation.

      Вы не должны совместно использовать JobStorageLocation среди продуктов параллельных вычислений, запускающих различные версии. Каждая версия в вашем кластере должна иметь свой собственный JobStorageLocation.

    3. Установите NumWorkers на количество рабочих, на которых вы хотите протестировать свою установку.

    4. Установите NumThreads на количество потоков использовать на каждом рабочем.

    5. Установите ClusterMatlabRoot на местоположение установки MATLAB работать на машинах рабочего.

    6. Если кластер использует онлайн лицензирование, установите RequiresOnlineLicensing на истину.

    7. Если вы устанавливаете RequiresOnlineLicensing на true, введите свой LicenseNumber.

    8. Установите OperatingSystem на операционную систему ваших кластерных машин рабочего.

    9. Установите HasSharedFilesystem на false. Эта установка указывает, что клиентский узел и узлы рабочего не могут совместно использовать то же местоположение данных.

    10. Установите PluginScriptsLocation на местоположение ваших сменных скриптов. В этом примере местоположением является nonshared подпапка в папке установки LSF. Как часть использования скриптов в качестве примера в nonshared режим представления, набор свойства на шагах k и l.

    11. В таблице AdditionalProperties выберите Add. Задайте новое свойство с именем ClusterHost, значение cluster-host-name, и введите String.

    12. В таблице AdditionalProperties выберите Add. Задайте новое свойство с именем RemoteJobStorageLocation, значение /network/share/joblocation, и введите String.

  6. Нажмите Done, чтобы сохранить ваши кластерные изменения профиля. Диалоговое окно смотрит можно следующим образом:

Чтобы проверять, что профиль работает, выполните валидацию, выполняющую шаги в, Подтверждают Кластерный Профиль и Установку.

Специальные настройки

В зависимости от вашей кластерной архитектуры вы можете должны быть выполнить дополнительные задачи, прежде чем вы свяжете со своим типовым планировщиком.

Пользовательские сборки MPI

Можно использовать сборку MPI, которая отличается от того, которому предоставляют Parallel Computing Toolbox. Для получения дополнительной информации об использовании этой опции с типовым интерфейсом планировщика смотрите Использование, Различный MPI Основывается на Системах UNIX.

Запустите связывающиеся задания с семейством Engine сетки

Демонстрационные скрипты для семейства Engine Сетки используют присутствие matlab параллельная среда. Параллельные среды (PE) являются средами программирования, спроектированными для параллельных вычислений в кластерах. Чтобы запустить связывающиеся задания с MATLAB Parallel Server и кластером семейства Engine Сетки, необходимо установить matlab параллельная среда.

Создайте Параллельную Среду.  Следующие шаги создают параллельную среду, и затем делают ее выполнимой на всех очередях. Как лучшая практика, выполните эти шаги на главном узле вашего кластера. Некоторые шаги требуют доступа администратора.

  1. Загрузите и запустите установщика для Engine Сетки от семейства Engine Сетки.

  2. Перейдите к местоположению соответствующих сменных скриптов для вашего режима представления в папке установки.

  3. Измените содержимое matlabpe.template чтобы использовать количество пазов, вы хотите и правильное местоположение startmatlabpe.sh и stopmatlabpe.sh файлы. Эти файлы могут существовать в общем ресурсе, доступном всеми хостами, или можно скопировать их в то же местоположение на каждом хосте. Можно также изменить другие значения или добавить дополнительные значения в matlabpe.template удовлетворять вашему кластеру. Для получения дополнительной информации обратитесь к sge_pe документации предоставляют ваш планировщик.

  4. Добавьте matlab параллельная среда, с помощью команды интерпретатора, такой как:

    qconf -Ap matlabpe.template

  5. Сделайте matlab параллельная среда, выполнимая на всех очередях:

    qconf -mq all.q
    Эта команда поднимает текстовый редактор для вас, чтобы внести изменения. Ищите линию pe_list, и добавьте matlab.

  6. Гарантируйте, что можно представить тривиальное задание PE:

    $ echo "hostname" | qsub -pe matlab 1

  7. Используйте qstat проверять, что задание запускается правильно и проверяет, что выходной файл содержит имя хоста, который запустил задание. Именем файла по умолчанию для выходного файла является ~/STDIN.o###, где ### номер задания Engine Сетки.

Примечание

Если вы меняете имя параллельной среды к чему-то другому, чем matlab, также измените представить функции.

Сконфигурируйте брандмауэры на Windows Cluster

Если вы используете брандмауэры Windows на своих кластерных узлах, можно добавить MATLAB как позволенную программу.

В следующих инструкциях matlabroot относится к местоположению установки MATLAB.

  1. Войдите в систему в качестве пользователя с административными привилегиями.

  2. Выполните следующий скрипт в окне команды DOS:

    matlabroot\toolbox\parallel\bin\addMatlabToWindowsFirewall.bat

Если вы используете другие брандмауэры, необходимо сконфигурировать их отдельно, чтобы добавить MATLAB как позволенную программу.

Похожие темы

Документация MATLAB Parallel Server

Поддержка

Для просмотра документации необходимо авторизоваться на сайте