Exponenta Banner
exponenta event banner

класс matlab.compiler.mlspark.SparkConf

Пакет: matlab.compiler.mlspark
Суперклассы:

Класс интерфейса для настройки приложения с параметрами Spark как пар ключ-значение

развернуть все на странице

Описание

A SparkConf объект сохраняет параметры конфигурации развертываемого приложения для Spark™. Каждое приложение должно быть настроено перед развертыванием в кластере Spark. Параметры конфигурации передаются в кластер Spark через SparkContext.

Строительство

conf = matlab.compiler.mlspark.SparkConf('AppName',name,'Master',url,'SparkProperties',prop) создает SparkConf с указанными параметрами конфигурации.

conf = matlab.compiler.mlspark.SparkConf(___,Name,Value) создает SparkConf с дополнительными параметрами конфигурации, заданными одним или несколькими аргументами пары Name и Value .Name является именем свойства класса и Value - соответствующее значение. Name должно отображаться внутри отдельных кавычек (''). Можно указать несколько аргументов пары имя-значение в любом порядке как Name1,Value1,...,NameN,ValueN.

Входные аргументы

развернуть все

Имя приложения, указанное в виде символьного вектора внутри одиночных кавычек ('').

Пример: 'AppName', 'myApp'

Типы данных: char | string

Имя главного URL-адреса, указанного в виде символьного вектора в отдельных кавычках ('').

URLОписание
local

Запустите Spark локально с одним рабочим потоком. При выборе этой опции параллелизм отсутствует.

local[K]

Запустить искру локально с помощью K рабочие потоки. Набор K к количеству ядер на компьютере.

local[*]

Запустите Spark локально, используя столько рабочих потоков, сколько логических ядер на компьютере.

yarn-clientПодключение к кластеру Hadoop ® YARN в режиме клиента. Местоположение кластера найдено на основе HADOOP_CONF_DIR или YARN_CONF_DIR переменная.

Пример: 'Master', 'yarn-client'

Типы данных: char | string

A containers.Map объект, содержащий свойства конфигурации Искра как пары ключ-значение.

Примечание

При развертывании в локальном кластере с использованием API MATLAB для Spark 'SparkProperties' имя свойства может игнорироваться при построении SparkConf объект, тем самым не требующий значения для prop. Или можно установить prop в пустой containers.Map объект следующим образом:

'SparkProperties',containers.Map({''},{''})
Ключ и значение containers.Map объект пуст char векторы.

При развертывании в кластере Hadoop YARN установите значение для prop с соответствующими свойствами конфигурации Spark в качестве пар ключ-значение. Точный набор свойств конфигурации Spark варьируется от одного сценария развертывания к другому в зависимости от среды кластера развертывания. Чтобы использовать соответствующие свойства конфигурации, пользователи должны проверить настройку Spark у системного администратора. Часто используемые свойства искры см. в таблице. Полный набор свойств см. в последней документации по Spark.

Запуск искры на YARN

Имя свойства (ключ)По умолчанию (значение)Описание
spark.executor.cores1

Количество ядер, используемых каждым исполнителем.

Только для автономного режима YARN и Spark. В автономном режиме Spark этот параметр позволяет приложению запускать несколько исполнителей на одном работнике при условии, что на этом работнике достаточно ядер. В противном случае на каждом работнике выполняется только один исполнитель для каждого приложения.

spark.executor.instances2

Число исполнителей.

Примечание

Это свойство несовместимо с spark.dynamicAllocation.enabled. Если оба spark.dynamicAllocation.enabled и spark.executor.instances указаны, динамическое распределение отключено и указано количество spark.executor.instances используется.

spark.driver.memory

  • 1g

  • 2048m рекомендуется

Объем памяти, используемой для процесса драйвера.

Если при использовании возникают ошибки в памяти tall/gather, рассмотрите возможность увеличения этого значения.

spark.executor.memory

  • 1g

  • 2048m рекомендуется

Объем памяти для каждого процесса исполнителя.

Если при использовании возникают ошибки в памяти tall/gather, рассмотрите возможность увеличения этого значения.

spark.yarn.executor.memoryOverhead

  • executorMemory * 0.10, с минимумом 384.

  • 4096m рекомендуется

Объем памяти вне кучи (в МБ), выделяемый исполнителю.

Если при использовании возникают ошибки в памяти tall/gather, рассмотрите возможность увеличения этого значения.

spark.dynamicAllocation.enabledfalse

Этот параметр интегрирует Spark с управлением ресурсами YARN. Spark инициирует как можно больше исполнителей, учитывая требования к памяти исполнителя и количество ядер. Это свойство требует настройки кластера.

Установка для этого свойства значения true указывает, следует ли использовать динамическое выделение ресурсов, которое позволяет масштабировать число исполнителей, зарегистрированных в этом приложении, в зависимости от рабочей нагрузки.

Для этого свойства требуется spark.shuffle.service.enabled для установки. Также релевантны следующие конфигурации: spark.dynamicAllocation.minExecutors, spark.dynamicAllocation.maxExecutors, и spark.dynamicAllocation.initialExecutors

spark.shuffle.service.enabledfalse

Включает внешнюю службу тасования. Эта служба сохраняет файлы тасования, написанные исполнителями, чтобы их можно было безопасно удалить. Это должно быть включено, если spark.dynamicAllocation.enabled имеет значение true. Чтобы включить ее, необходимо настроить внешнюю службу тасования.

Специальные свойства MATLAB

Имя свойства (ключ)По умолчанию (значение)Описание
spark.matlab.worker.debugfalseТолько для использования в автономном/интерактивном режиме. Если установлено значение true, развертываемое приложение MATLAB Spark, выполняемое в среде рабочего стола MATLAB, запускает другой сеанс MATLAB в качестве рабочего и вводит отладчик. Информация регистрации направляется в log_<nbr>.txt.
spark.matlab.worker.reusetrueЕсли установлено значение true, исполнитель Spark объединяет работников и повторно использует их от одного этапа к следующему. Работники прекращают работу, когда исполнитель, под которым работают работники, прекращает работу.
spark.matlab.worker.profilefalseДопустимо только при использовании сеанса MATLAB в качестве работника. Если установлено значение true, он включает профилировщик MATLAB и генерирует отчет о профиле, который сохраняется в файле profworker_<split_index>_<socket>_<worker pass>.mat.
spark.matlab.worker.numberOfKeys10000Количество уникальных ключей, которые могут храниться в containers.Map объект при выполнении *ByKey операции перед тем, как данные карты будут разлиты в файл.
spark.matlab.executor.timeout600000

Время ожидания исполнителя искр в миллисекундах. Неприменимо при развертывании tall-массивов.

Мониторинг и ведение журнала

Имя свойства (ключ)По умолчанию (значение)Описание
spark.history.fs.logDirectoryfile:/tmp/spark-events

Каталог, содержащий журналы событий приложений, загружаемые сервером истории.

spark.eventLog.dirfile:///tmp/spark-events

Базовый каталог, в котором регистрируются события Spark, если spark.eventLog.enabled является true. В этом базовом каталоге Spark создает подкаталоги для каждого приложения и регистрирует события, относящиеся к приложению, в этом каталоге. Можно установить унифицированное расположение, например, каталог HDFS™, чтобы архивные файлы могли считываться сервером истории.

spark.eventLog.enabledfalse

Следует ли регистрировать события Spark. Это полезно для восстановления веб-интерфейса пользователя после завершения приложения.

Типы данных: char

Аргументы пары «имя-значение»

Укажите дополнительные пары, разделенные запятыми Name,Value аргументы. Name является именем аргумента и Value - соответствующее значение. Name должен отображаться внутри кавычек. Можно указать несколько аргументов пары имен и значений в любом порядке как Name1,Value1,...,NameN,ValueN.

Отображение пар ключ-значение, указанных как containers.Map объект.

Пример: 'ExecutorEnv', containers.Map({'SPARK_JAVA_OPTS'}, {'-Djava.library.path=/my/custom/path'})

Вектор символов, указывающий путь к среде выполнения MATLAB в отдельных кавычках ''.

Пример: 'MCRRoot', '/share/MATLAB/MATLAB_Runtime/v91'

Типы данных: char | string

Свойства

Свойства этого класса скрыты.

Методы

Для этого класса нет исполняемых методов.

Примеры

свернуть все

SparkConf позволяет настроить приложение с параметрами Spark в качестве пар ключ-значение.

sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);

Подробнее

развернуть все

Ссылки

Дополнительные сведения см. в последней документации по Spark.

См. также

Классы

Темы

Представлен в R2016b

Документация по компилятору MATLAB

Поддержка