Сконфигурируйте для Slurm, PBS Pro, LSF, TORQUE

Следуйте этим инструкциям, чтобы сконфигурировать MATLAB® Parallel Server™ для работы с Slurm, PBS Pro, LSF, TORQUE.

Примечание

Используйте типовой интерфейс планировщика для любого из следующих:

  • Любой сторонний планировщик, не указанный выше (например, Sun Grid Engine, GridMP и т.д.)

  • PBS кроме PBS Pro

  • Несекционированная файловая система, когда клиент не может непосредственно отправить в планировщик (например, TORQUE в Windows)

  • Когда на клиентской машине MATLAB не установлены утилиты стороннего планировщика (для примера sinfo, sbatch, squeue и sacct для Slurm)

  • Если необходимо использовать Slurm из клиента Windows или если у вас нет общей файловой системы с кластером Slurm, или если утилиты Slurm недоступны на клиенте, используйте общий интерфейс планировщика.

Для получения дополнительной информации об обобщенном интерфейсе планировщика см. Раздел «Настройка использования интерфейса типового планировщика».

Создайте профиль кластера и проверьте установку

Эта процедура проверяет, что продукты параллельных вычислений установлены и правильно сконфигурированы на вашем кластере.

Шаг 1: создайте профиль кластера

На этом шаге вы создаете профиль кластера, который будет использоваться в последующих шагах.

  1. Запустите диспетчер профилей кластеров. На вкладке Home, в области Environment, выберите Parallel > Create and Manage Clusters.

  2. Создайте новый профиль в Диспетчере профилей кластера путем выбора Add Cluster Profile > LSF (или, при необходимости, Slurm, PBS Pro или Torque).

  3. Выбрав новый профиль в списке, нажмите «Переименовать» и отредактируйте имя профиля, который будет InstallTest. Нажмите Enter.

  4. На вкладке Properties укажите настройки для следующих полей:

    1. Установите в поле Description значение For testing installation.

    2. Установите положение JobStorageLocation в том месте, где необходимо хранить данные о задании и задании (доступно для всех рабочих машин, если у вас есть общая файловая система).

      Примечание

      JobStorageLocation не должны использоваться параллельными вычислительными продуктами, работающими под разными версиями; каждая версия вашего кластера должна иметь свои собственные JobStorageLocation.

    3. Установите в поле NumWorkers количество работников, на которых вы хотите запустить тесты валидации, в пределах ограничения вашего лицензирования.

    4. Установите ClusterMatlabRoot в место установки MATLAB, которое будет выполняться рабочими машинами.

    5. Установите SubmitArguments, чтобы включать любые дополнительные аргументы команды, требуемые конкретным кластером и планировщиком.

    6. Если вы используете LSF®установите операционную систему на операционной системе рабочих машин.

    7. Установите HasSharedFilesystem, чтобы указать, могут ли клиент и работники совместно использовать одно и то же расположение данных.

      Диалоговое окно должно выглядеть примерно так или немного иначе для PBS Pro® или планировщиков КРУТЯЩИЙ МОМЕНТ.

  5. Нажмите Готово, чтобы сохранить профиль кластера.

Шаг 2. Проверьте профиль кластера

На этом шаге вы проверяете профиль кластера и, следовательно, установку. Можно задать количество работников, которые будут использоваться при проверке профиля. Если вы не задаете количество работников на вкладке Валидация, то проверка попытается использовать столько работников, сколько задано в NumWorkers свойство на вкладке « Свойствах». Можно задать меньшее количество рабочих процессов для проверки строения, не занимая весь кластер.

  1. Если он еще не открыт, запустите диспетчер профилей кластеров с рабочего стола MATLAB. На вкладке Home, в области Environment, выберите Parallel > Create and Manage Clusters.

  2. Выберите профиль кластера в объявлении.

  3. Перейдите на вкладку Валидация.

  4. Используйте флажки, чтобы выбрать все тесты или подмножество этапов валидации и указать количество работников, которые будут использоваться при проверке вашего профиля.

  5. Щелкните Проверить.

На вкладке Результаты валидации показаны выходы. Следующий рисунок показывает результаты профиля, который прошел все тесты валидации.

Примечание

Если ваша валидация не проходит, обратитесь в службу поддержки MathWorks.

Если ваша валидация прошла, теперь у вас есть действительный профиль, который можно использовать в других параллельных приложениях. Вы можете внести любые изменения в свой профиль, соответствующие вашим приложениям, например NumWorkersRange, AttachedFiles, AdditionalPaths, и т.д.

Чтобы сохранить свой профиль для других пользователей, выберите профиль и нажмите кнопку Export, а затем сохраните свой профиль в файл в удобном месте. Позже, при запуске Диспетчера профилей кластеров, другие пользователи могут импортировать ваш профиль, нажав Import.

Настройка планировщика LSF в кластере Windows

Если ваш кластер уже настроен на использование mpiexec и smpd, можно использовать программное обеспечение Parallel Computing Toolbox™ с существующим строением, если вы используете совместимую библиотеку реализации MPI (как определено в matlabroot\toolbox\parallel\mpi\mpiLibConf.m). Однако, если у вас нет mpiexec в кластере и вы хотите использовать его, можно использовать программное обеспечение mpiexec, поставляемое с параллельными вычислительными продуктами.

Для получения дополнительной информации о mpiexec и smpd см. домашнюю страницу MPICH. Для руководства пользователя и инструкций по установке на этой странице выберите Документация > Документы пользователя.

В следующих инструкциях matlabroot относится к месту установки MATLAB.

Чтобы использовать mpiexec для распределения задания, служба smpd должна запускаться на всех узлах, которые будут использоваться для выполнения работников MATLAB.

Примечание

The smpd исполняемый файл не поддерживает выполнение с сетевого диска. Используйте локальную установку или полный путь UNC, имя к исполняемому файлу. Microsoft® Windows Vista™ не поддерживает smpd исполняемый файл на сетевых общих установках, поэтому в Vista установка должна быть локальной.

  1. Войдите в систему как пользователь с правами администратора.

  2. Запустите smpd путем ввода в командном окне DOS:

    matlabroot\bin\win64\smpd -install

    Эта команда устанавливает службу и запускает ее. Пока сервис остается установленным, он запускается каждый раз, когда узел загружается.

  3. Если это рабочая машина, и вы не запустили на ней инсталлятор для установки программного обеспечения MATLAB Parallel Server (для примера, если вы запускаете программное обеспечение MATLAB Parallel Server из общей установки), выполните следующую команду в командном окне DOS.

    matlabroot\bin\matlab.bat -install_vcrt

    Эта команда устанавливает библиотеки Microsoft во время выполнения, необходимые для выполнения заданий с вашим планировщиком.

  4. Если вы используете Windows® брандмауэры на узлах кластера, выполните следующее в командном окне DOS.

    matlabroot\toolbox\parallel\bin\addMatlabToWindowsFirewall.bat

    Эта команда добавляет MATLAB как разрешенную программу. Если вы используете другие брандмауэры, необходимо сконфигурировать их, чтобы сделать аналогичное размещение.

  5. Войдите в систему под именем пользователя, который будет отправлять задания для выполнения на этом узле.

  6. Зарегистрируйте этого пользователя, чтобы использовать mpiexec путем ввода:

    matlabroot\bin\win64\mpiexec -register

  7. Повторите шаги 5-6 для всех пользователей, которые будут запускать задания на этом компьютере.

  8. Повторите все эти шаги на всех узлах Windows в кластере.

Настройка брандмауэров Windows на сервере

Если на узлах кластера используются брандмауэры Windows,

  1. Войдите в систему как пользователь с правами администратора.

  2. Выполните следующее в командном окне DOS.

    matlabroot\toolbox\parallel\bin\addMatlabToWindowsFirewall.bat

    Эта команда добавляет MATLAB как разрешенную программу. Если вы используете другие брандмауэры, необходимо сконфигурировать их для аналогичного размещения.

MATLAB Parallel Server

Поддержка

Для просмотра документации необходимо авторизоваться на сайте