Общий интерфейс планировщика обеспечивает гибкость настройки взаимодействия клиента MATLAB ®, работников MATLAB и стороннего планировщика. При необходимости полной настройки интерфейса MATLAB с настройкой планировщика используйте общий интерфейс планировщика.
Необходимо использовать общий интерфейс планировщика в следующих случаях:
Взаимодействие MATLAB со сторонними планировщиками без готовой поддержки. Планировщиками с готовой поддержкой являются Stulm, PBS Pro, Torque, LSF и HPC Server.
Взаимодействие MATLAB и сторонних планировщиков, которые не имеют общей файловой системы между клиентом MATLAB и узлами кластера.
Использование клиентского компьютера MATLAB, на котором не установлены сторонние утилиты планировщика.
Общий интерфейс планировщика предоставляет средства получения задач из сеанса клиента Parallel Computing Toolbox™ в узлы планировщика и кластера. Для этого необходимо предоставить клиенту MATLAB набор сценариев плагинов. Сценарии содержат инструкции, относящиеся к инфраструктуре кластера, например, как взаимодействовать с планировщиком заданий, а также как передавать данные заданий и задач узлам кластера.
Для взаимодействия с планировщиком MathWorks ® предоставляет надстройки или плагины для следующих сторонних планировщиков, которые можно загрузить и установить из диспетчера надстроек.
Подключаемый модуль Parallel Computing Toolbox для параллельного Server™ MATLAB с суспензиями
Подключаемый модуль Parallel Computing Toolbox для параллельного сервера MATLAB с IBM Platform LSF
Подключаемый модуль Parallel Computing Toolbox для параллельного сервера MATLAB с Grid Engine
Подключаемый модуль Parallel Computing Toolbox для параллельного сервера MATLAB с PBS
Подключаемый модуль Parallel Computing Toolbox для параллельного сервера MATLAB с HTCondor
На вкладке Главная (Home) в области Среда (Environment) щелкните Надстройки (Add-On). В обозревателе надстроек найдите надстройку и установите ее. Программа установки включает мастер, который поможет создать профиль кластера для конфигурации кластера.
В качестве альтернативы можно загрузить плагины из следующих расположений:
Чтобы установить плагин, дважды щелкните его или перетащите в MATLAB.
Каждый установщик создает сценарии для трех возможных режимов отправки:
Shared - когда клиент может отправлять данные непосредственно планировщику, а клиент и машины кластера имеют общую файловую систему.
Удаленный - когда клиентские и кластерные машины имеют общую файловую систему, но клиентская машина не может отправлять данные непосредственно планировщику, например, когда клиентские утилиты планировщика не установлены. В этом случае удаленный хост отправляет команды планировщику с помощью ssh протокол.
Не используется совместно - если на клиентских и кластерных компьютерах нет общей файловой системы. В этом режиме используется ssh для передачи команд планировщику с помощью удаленного хоста и использует sftp протокол для копирования файлов заданий и задач в файловую систему кластера.
Каждый режим отправки имеет собственную подпапку в папке установки. Эти подпапки содержат README В файле содержатся конкретные инструкции по использованию сценариев. Прежде чем использовать сценарии, решите, какой режим отправки описывает настройку сети.
Если требуется настроить поведение сценариев плагина, можно задать дополнительные свойства, такие как AdditionalSubmitArgs. Дополнительные сведения см. в разделе Настройка поведения примеров сценариев подключаемых модулей.
Если планировщик или конфигурация кластера не поддерживается одним из пакетов поддержки, рекомендуется изменить сценарии одного из этих пакетов. Дополнительные сведения о том, как написать набор сценариев плагинов для общих планировщиков, см. в разделе Сценарии плагинов для общих планировщиков (панель инструментов параллельных вычислений).
В этом примере показано, как настроить профиль кластера для использования общего интерфейса планировщика. На ней показана установка планировщика LSF в сети без общей файловой системы между клиентом и машинами кластера. Следующая схема иллюстрирует установку кластера:
В этом типе конфигурации данные задания копируются с клиентского хоста под управлением операционной системы Windows на хост в кластере (узел входа в кластер) под управлением операционной системы UNIX ®. LSF из узла регистрации кластера bsub команда отправляет задание планировщику. По завершении задания его выходные данные копируются обратно на клиентский хост.
Настройка должна соответствовать следующим условиям:
Клиентский узел и узел входа в кластер должны поддерживать ssh и sftp.
Узел входа в кластер должен иметь возможность вызова bsub для передачи задания планировщику LSF. Вы можете найти больше об этом в README в файле nonshared в папке установки.
Установщик загружает сценарии плагина в nonshared в папке установки. Мастер установки содержит инструкции по созданию и проверке профиля кластера.
Можно указать количество работников, которые будут использоваться при проверке профиля. Если на вкладке Проверка (Validation) не указано количество работников, то процесс проверки пытается использовать столько работников, сколько указано свойством NumWorkers на вкладке Свойства (Properties). Можно указать меньшее число работников для проверки конфигурации, не занимая весь кластер.
Запустите диспетчер профилей кластера с рабочего стола MATLAB. На вкладке Главная (Home) в области Среда (Environment) выберите Параллельный (Parallel) > Создать кластеры и управлять ими.
Выберите профиль кластера в списке.
Перейдите на вкладку Проверка (Validation).
Используйте флажки для выбора всех тестов или подмножества этапов проверки и укажите количество работников, которые будут использоваться при проверке профиля.
Щелкните Проверить (Validate).
Выходные данные отображаются на вкладке Результаты проверки (Validation results). На следующем рисунке показаны результаты профиля, прошедшего все проверки.
Примечание
В случае неуспешного завершения проверки обратитесь в группу поддержки установки MathWorks.
Если проверка прошла успешно, у вас есть действительный профиль, который можно использовать в других параллельных приложениях. В профиль можно вносить любые изменения, подходящие для приложений, такие как NumSharingRange, AttachedFiles или AdditivePaths.
Чтобы сохранить профиль для других пользователей, выберите профиль и нажмите кнопку Экспорт. Затем сохраните профиль в файле в удобном месте. При запуске диспетчера профилей кластера другие пользователи могут импортировать ваш профиль, щелкнув Импорт.
Сведения о распространении общего профиля кластера и сценариев подключаемых модулей для других пользователей см. в разделе Распространение общего профиля кластера и сценариев подключаемых модулей.
Если требуется изменить существующий общий профиль кластера, его можно настроить вручную. Если вы создаете профиль впервые и используете один из предоставленных сценариев поддержки, используйте мастер установки: Запустите LSF Installer.Следующие шаги воспроизводят конфигурацию, выполненную установщиком вручную. Можно изменить любой из этих параметров в зависимости от настройки.
Запустите сеанс MATLAB на клиентском хосте.
Запустите диспетчер профилей кластера с рабочего стола MATLAB. На вкладке Главная (Home) в области Среда (Environment) выберите Параллельный (Parallel) > Создать кластеры и управлять ими.
Создайте новый профиль в Диспетчере профилей кластера, выбрав «Добавить» > «Пользовательские» > «Общие».
Выбрав новый профиль в списке, выберите «Переименовать» и измените имя профиля на InstallTest. Нажмите Enter.
На вкладке Свойства (Properties) выберите Править (Edit) и укажите параметры для следующих полей.
Установите в поле Описание значение Для тестовой установки.
Установите JobStorageLocation в расположение, в котором должны храниться данные задания и задачи на клиентском компьютере (не в расположении кластера), например: C:\Temp\joblocation.
Нельзя совместно использовать JobStorageLocation среди параллельных вычислительных продуктов с различными версиями. Каждая версия кластера должна иметь собственный JobStorageLocation.
Задайте для параметра NumWorkers число работников, для которых требуется протестировать установку.
Задайте значение параметра NumThreads как количество потоков, используемых для каждого работника.
Установите ClusterMatlabRoot в расположение установки MATLAB для запуска на рабочих машинах.
Если кластер использует интерактивное лицензирование, установите значение True в свойстве IntelligentalStartLicensing.
Если для параметра «» Лицензирование «» установлено значение trueвведите свой LicenseNumber.
Установите OperatingSystem в операционную систему рабочих машин кластера.
Задать для HasSharedFilesystem значение false. Этот параметр указывает, что клиентский узел и рабочие узлы не могут совместно использовать одно и то же расположение данных.
Установите значение PluginTaxingLocation в расположение сценариев плагина. В этом примере расположением является nonshared в папке установки LSF. Как часть использования примеров сценариев в nonshared режим отправки, задайте свойства в шагах k и l.
В таблице AdditiveProperties выберите Add. Укажите новое свойство с именем ClusterHost, значение cluster-host-name, и тип String.
В таблице AdditiveProperties выберите Add. Укажите новое свойство с именем RemoteJobStorageLocation, значение /network/share/joblocation, и тип String.
Нажмите кнопку Готово, чтобы сохранить изменения профиля кластера. Диалоговое окно выглядит следующим образом:
Чтобы проверить работоспособность профиля, выполните проверку, следуя шагам в разделе Проверка профиля кластера и установка.
В зависимости от архитектуры кластера перед подключением к универсальному планировщику может потребоваться выполнить дополнительные задачи.
Можно использовать сборку MPI, отличающуюся от той, которая поставляется с панелью инструментов Parallel Computing Toolbox. Дополнительные сведения об использовании этой опции с общим интерфейсом планировщика см. в разделе Использование различных MPI-построений в UNIX-системах.
Примеры сценариев для семейства Grid Engine зависят от наличия matlab параллельная среда. Параллельные среды (PE) - это среды программирования, предназначенные для параллельных вычислений в кластерах. Для выполнения заданий связи с параллельным сервером MATLAB и кластером семейства Grid Engine необходимо установить matlab параллельная среда.
Создайте параллельную среду. Следующие шаги создают параллельную среду, а затем делают ее доступной для всех очередей. Рекомендуется выполнить эти действия на головном узле кластера. Некоторые шаги требуют доступа администратора.
Загрузите и запустите программу установки Grid Engine из семейства Grid Engine.
Перейдите к местоположению соответствующих сценариев плагинов для режима отправки в папке установки.
Изменение содержимого matlabpe.template для использования требуемого количества слотов и правильного расположения startmatlabpe.sh и stopmatlabpe.sh файлы. Эти файлы могут существовать в общем расположении, доступном для всех хостов, или их можно скопировать в одно и то же расположение на каждом хосте. Можно также изменить другие значения или добавить дополнительные значения в matlabpe.template в соответствии с вашим кластером. Для получения дополнительной информации см. sge_pe документация, предоставленная с вашим планировщиком.
Добавить matlab параллельная среда с использованием команды оболочки, например:
qconf -Ap matlabpe.template
Сделать matlab параллельная среда, доступная для всех очередей:
qconf -mq all.q
pe_list, и добавить matlab.Убедитесь, что вы можете отправить тривиальное задание в PE:
$ echo "hostname" | qsub -pe matlab 1
Использовать qstat для проверки правильности выполнения задания и того, что выходной файл содержит имя хоста, на котором выполнялось задание. Имя файла по умолчанию для выходного файла: ~/STDIN.o###, где ### - номер задания Grid Engine.
Примечание
При изменении имени параллельной среды на matlab, также измените функции отправки.
При использовании брандмауэров Windows на узлах кластера можно добавить MATLAB в качестве разрешенной программы.
В следующих инструкциях matlabroot относится к месту установки MATLAB.
Войдите в систему как пользователь с правами администратора.
Выполните следующий сценарий в окне команд DOS:
matlabroot\toolbox\parallel\bin\addMatlabToWindowsFirewall.bat
Если используются другие брандмауэры, их необходимо настроить отдельно, чтобы добавить MATLAB в качестве разрешенной программы.