Установка и настройка MATLAB Parallel Server для Slurm

Если у вас есть кластер с Slurm, следуйте этим инструкциям, чтобы интегрировать MATLAB® с вашим планировщиком с помощью MATLAB Parallel Server™. Если в кластере нет существующего планировщика, см. Раздел «Установка и настройка MATLAB Parallel Server для MATLAB Job Scheduler и Network License Manager».

Эти инструкции проведут вас через следующие задачи:

После интеграции MATLAB с Slurm можно получить доступ к работникам кластера из клиентского сеанса MATLAB на рабочем столе с помощью Parallel Computing Toolbox™. Workers вычислительные двигатели MATLAB, которые обычно соответствуют ядру.

В этих шагах используется диспетчер сетевых лицензий.

Активируйте лицензию MATLAB Parallel Server

Чтобы установить MATLAB Parallel Server, необходимо активировать лицензию. Чтобы активировать лицензию MATLAB Parallel Server:

  1. Переход к https://www.mathworks.com/licensecenter.

  2. Войдите в учетную запись MathWorks администратора.

  3. Выберите лицензию MATLAB Parallel Server и перейдите на вкладку Установка и активация.

  4. С самой правой стороны, под RELATED TASKS, выберите Activate to Retrieve License File.

  5. Заполните запрошенную информацию. Эта информация должна относиться к компьютеру, на котором размещен диспетчер лицензий. В этих инструкциях это главный узел. Дополнительные сведения см. в разделе Установка диспетчера лицензий.

  6. После заполнения информации загрузите или отправьте файл лицензии по электронной почте и скопируйте ключ установки файла. Они используются позже в процессе.

Примечание

Активация не требуется для испытаний. Для получения файла лицензии и ключа установки файлов обратитесь к торговому представителю.

Получение инсталляционных файлов

Чтобы сэкономить время и устранить необходимость в процессе загрузки на основе установщика для каждого компьютера в кластере, загрузите установочные файлы перед установкой. Это облегчает установку в большом количестве машин. Если у вас есть доступ к учетной записи администратора для вашей лицензии, можно использовать инсталлятор для загрузки файлов без их установки. Если нет, обратитесь к администратору лицензии, чтобы получить копию файлов установки. Дополнительные сведения см. в разделе Загрузка продуктов без установки. При использовании установщика для загрузки файлов выберите следующие опции:

  • Выберите соответствующую операционную систему для узлов кластера.

  • Выберите все продукты для загрузки. MATLAB Parallel Server не может запускать задания, требующие установки продуктов.

Существует три серверных компонента MATLAB Parallel Server:

  1. Диспетчер лицензий, на котором размещена лицензия MATLAB Parallel Server, используемая каждым рабочим процессом. Дополнительные сведения см. в разделе Установка диспетчера лицензий.

  2. Ваш сторонний планировщик заданий, который запускается на главном узле и управляет заданиями на вашем кластере. Вы интегрируете этот планировщик с MATLAB Parallel Server. Дополнительные сведения см. в разделах Установка диспетчера лицензий и Настройка кластера.

  3. MATLAB Parallel Server, который запускается на вычислительных узлах. Для получения дополнительной информации см. раздел Установка программного обеспечения на вычислительные узлы.

Установить диспетчер лицензий

Выберите узел компьютера для размещения диспетчера лицензий. Для установки используйте автономный инсталлятор с предыдущего шага. Дополнительные сведения о процедуре автономной установки см. в разделе Установка продуктов с использованием ключа установки файлов.

  1. Запустите инсталлятор MATLAB из установочных файлов, полученных в разделе Get the Installation Files.

  2. Выберите Use a File Installation Key и продолжите с помощью приглашений.

  3. В выборе продукта выберите только диспетчер лицензий.

  4. На шаге Файл перейдите к своему license.lic файл (получен из Activate Your MATLAB Parallel Server License).

  5. Запустите диспетчер лицензий.

Установка программного обеспечения на вычислительные узлы

Эта процедура аналогична установке диспетчера лицензий. Дополнительные сведения о процедуре автономной установки см. в разделе Установка продуктов с использованием ключа установки файлов.

  1. Запустите инсталлятор MATLAB из установочных файлов, полученных в разделе Get the Installation Files.

  2. Выберите Use a File Installation Key и продолжите с помощью приглашений.

  3. Выберите все продукты. Однако не устанавливать диспетчер лицензий. Кроме того, чтобы сэкономить пространство, установите только продукты, на которые лицензированы пользователи кластера.

  4. Используйте license.dat файл из головного узла. Вы можете получить этот файл из matlabroot/etc папка, где matlabroot - папка установки MATLAB.

Для оптимальной эффективности устанавливайте локально на каждом узле. Однако можно также установить в расположении общего сетевого ресурса.

Примечание

Устанавливайте неинтерактивно (бесшумно) вместо этого, если хотите

  • Установите программное обеспечение на машину без графического интерфейса пользователя (GUI).

  • Сэкономьте время, необходимое для настройки программы установки для каждого вычислительного узла.

Для получения дополнительной информации см. раздел Установка без обратной связи.

Можно протестировать установку и лицензирование, запустив следующую команду в интерфейсе командной строки. matlabroot - папка установки MATLAB. filename - место записи файла журнала во временное место, для примера. У вас должны быть разрешения на запись в этом расположении.

matlabroot/toolbox/parallel/bin/checkLicensing -logfile filename

Примечание

Вам не нужно запускать службу mjs, когда вы хотите настроить MATLAB Parallel Server для Slurm.

Установка программного обеспечения на локальный рабочий стол

Чтобы использовать MATLAB Parallel Server, необходимо использовать локальный рабочий стол под управлением MATLAB и Parallel Computing Toolbox. Установка MathWorks® продукты, для которых вы лицензированы, включая Parallel Computing Toolbox, на локальных рабочих столах, с которых вы хотите отправить задания в кластер. Для получения справки по этому шагу см. раздел Установка и лицензирование.

Любые работники кластеров MATLAB, которые вы начинаете использовать динамическое лицензирование: они могут использовать всю функциональность, на которую вы лицензированы в клиенте MATLAB, при извлечении только лицензий MATLAB Parallel Server в кластере.

Сконфигурируйте клиентскую машину

Следующий шагБольше информации

Используйте готовую поддержку Если вы удовлетворяете всем этим условиям.

  • Клиентская машина использует Linux®.

  • Между клиентской машиной и узлами кластера имеется общая файловая система.

  • На клиентской машине установлены инструменты отправки данных сторонних планировщиков. Проверить это можно, выполнив соответствующие команды в командной строке. Например, скрипт отправки sbatch.

Следуйте инструкциям «Создание профиля кластера с использованием встроенной поддержки».

Используйте общий интерфейс планировщика.

Следуйте за тем, как создать профиль кластера с помощью интерфейса типового планировщика.

Создайте профиль кластера, используя стандартную поддержку

  1. Запустите диспетчер профилей кластеров. На вкладке Home, в области Environment, выберите Parallel > Create and Manage Clusters.

  2. Создайте новый профиль Slurm. В Диспетчере профилей кластеров выберите Add Cluster Profile > Slurm.

  3. Чтобы присвоить ему другое имя, выберите новый профиль и нажмите «Переименовать».

  4. На вкладке Properties укажите параметры настройки для следующих полей.

    1. (Необязательно) Установите поле Description.

    2. Установите значение JobStorageLocation в том месте, в котором должны храниться данные о задании и задаче. Это место должно быть доступно для всех рабочих машин.

      Примечание

      Совместное использование JobStorageLocation с параллельными вычислительными продуктами, работающими под разными версиями, не рекомендуется; каждая версия вашего кластера должна иметь свои собственные JobStorageLocation.

    3. Установите в поле NumWorkers количество работников, которых вы хотите использовать с этим профилем, в пределах срока действия вашего лицензирования.

    4. Установите ClusterMatlabRoot в место установки MATLAB, которое будет выполняться рабочими машинами.

    5. (Необязательно) Установите SubmitArguments, чтобы включать любые дополнительные аргументы команды, требуемые конкретным кластером и планировщиком.

    6. После заполнения полей диалоговое окно выглядит следующим образом:

  5. Нажмите Готово, чтобы сохранить профиль кластера.

Создайте профиль кластера с помощью интерфейса типового планировщика

Загрузите скрипты плагина Slurm для взаимодействия с Slurm из клиента MATLAB. На вкладке Home, в области Environment, нажмите Add-Ons. В Add-On Explorer найдите плагин дополнения Parallel Computing Toolbox для MATLAB Parallel Server с Slurm и установите его. Также здесь можно скачать дополнение: Slurm. Чтобы открыть его, дважды нажатие кнопки его или перетащите в MATLAB.

Для получения дополнительной информации об обобщенном интерфейсе планировщика см. Раздел «Настройка использования интерфейса типового планировщика».

Проверьте профиль кластера

На этом шаге вы проверяете профиль кластера и, следовательно, установку. Можно задать количество работников, которые будут использоваться при проверке профиля. Если вы не задаете количество работников на вкладке Валидация, то проверка попытается использовать столько работников, сколько задано в NumWorkers свойство на вкладке « Свойствах». Можно задать меньшее количество рабочих процессов для проверки строения, не занимая весь кластер.

  1. Если он еще не открыт, запустите диспетчер профилей кластеров. На вкладке Home, в области Environment, выберите Parallel > Create and Manage Clusters.

  2. Выберите профиль кластера в объявлении.

  3. Перейдите на вкладку Валидация.

  4. Используйте флажки, чтобы выбрать все тесты или подмножество этапов валидации и указать количество работников, которые будут использоваться при проверке вашего профиля.

  5. Щелкните Проверить.

На вкладке Результаты валидации показаны выходы. Следующий рисунок показывает результаты профиля, который прошел все тесты валидации.

Примечание

Если ваша валидация не проходит, обратитесь в службу поддержки MathWorks.

Если ваша валидация прошла, теперь у вас есть действительный профиль, который можно использовать в других параллельных приложениях. Вы можете внести любые изменения в свой профиль, соответствующие вашим приложениям, например NumWorkersRange, AttachedFiles, AdditionalPaths, и т.д.

Чтобы сохранить свой профиль для других пользователей, выберите профиль и нажмите кнопку Export, а затем сохраните свой профиль в файл в удобном месте. Позже, при запуске Диспетчера профилей кластеров, другие пользователи могут импортировать ваш профиль, нажав Import.

Запуск параллельного кода

После завершения строения можно отправить задания в кластер. Для примеров смотрите Running Code on Clusters and Clouds.

См. также

MATLAB Parallel Server

Поддержка

Для просмотра документации необходимо авторизоваться на сайте