matlab.compiler.mlspark.SparkConf class

Пакет: matlab.compiler.mlspark
Суперклассы:

Класс интерфейса, чтобы сконфигурировать приложение с параметрами Spark как пары "ключ-значение"

развернуть все на странице

Описание

A SparkConf объект хранит параметры конфигурации развертываемого для Spark™ приложения. Каждое приложение должно быть сконфигурировано перед развертыванием на кластере Spark. Параметры конфигурации передаются в кластер Spark через SparkContext.

Конструкция

conf = matlab.compiler.mlspark.SparkConf('AppName',name,'Master',url,'SparkProperties',prop) создает SparkConf объект с заданными параметрами конфигурации.

conf = matlab.compiler.mlspark.SparkConf(___,Name,Value) создает SparkConf объект с дополнительными параметрами конфигурации, заданными одним или несколькими аргументами в виде пар «имя, значение». Name является именем свойства класса и Value - соответствующее значение. Name должны находиться внутри одинарных кавычек (''). Можно задать несколько аргументы пары "имя-значение" в любом порядке как Name1,Value1,...,NameN,ValueN.

Входные параметры

расширить все

Имя приложения, заданное как вектор символов, внутри одинарных кавычек ('').

Пример: 'AppName', 'myApp'

Типы данных: char | string

Имя главного URL-адреса, заданное как вектор символов внутри одинарных кавычек ('').

URLОписание
local

Запуск Spark локально с одним рабочим потоком. При выборе этой опции параллелизм отсутствует.

local[K]

Запуск Spark локально с K рабочие потоки. Задайте K к количеству ядер на вашей машине.

local[*]

Запустите Spark локально с таким количеством рабочих потоков, как логические ядра на вашей машине.

yarn-clientПодключение к Hadoop® Кластер YARN в клиентском режиме. Расположение кластера определяется на основе HADOOP_CONF_DIR или YARN_CONF_DIR переменная.

Пример: 'Master', 'yarn-client'

Типы данных: char | string

A containers.Map объект, содержащий свойства строения Spark в виде пар "ключ-значение".

Примечание

При развертывании на локальном кластере с помощью MATLAB API для Spark, 'SparkProperties' имя свойства может быть проигнорировано во время конструкции SparkConf объект, таким образом не требующий значения для prop. Или можно задать prop в пустой containers.Map объект следующим образом:

'SparkProperties',containers.Map({''},{''})
Ключ и значение containers.Map объект пуст char векторы.

При развертывании на кластере Hadoop YARN задайте значение для prop с соответствующими свойствами строения Spark в виде пар "ключ-значение". Точный набор свойств строения Spark варьируется от одного сценария развертывания к другому в зависимости от окружения кластера развертывания. Пользователи должны проверить настройку Spark с системным администратором, чтобы использовать соответствующие свойства строения. Обычно используемые свойства Spark см. в таблице. Полный набор свойств см. в последней документации Spark.

Запуск искры на ПРП

Имя свойства (ключ)По умолчанию (значение)Описание
spark.executor.cores1

Количество ядер для использования в каждом исполнителе.

Только для автономных режимов YARN и Spark. В автономном режиме Spark установка этого параметра позволяет приложению запускать несколько исполнителей на том же работнике при условии, что на этом работнике достаточно ядер. В противном случае каждый рабочий процесс запускается только по одному исполнителю.

spark.executor.instances2

Количество исполнителей.

Примечание

Это свойство несовместимо с spark.dynamicAllocation.enabled. Если оба spark.dynamicAllocation.enabled и spark.executor.instances заданы, динамическое выделение отключено и задано количество spark.executor.instances используется.

spark.driver.memory

  • 1g

  • 2048m рекомендуется

Объем памяти, используемый для процесса драйвера.

Если вы получаете какие-либо ошибки памяти при использовании tall/gather, рассмотрите увеличение этого значения.

spark.executor.memory

  • 1g

  • 2048m рекомендуется

Объем памяти для использования в каждом процессе исполнителя.

Если вы получаете какие-либо ошибки памяти при использовании tall/gather, рассмотрите увеличение этого значения.

spark.yarn.executor.memoryOverhead

  • executorMemory * 0.10, с минимумом 384.

  • 4096m рекомендуется

Объем запоминающей памяти (в МБ), выделяемый каждому исполнителю.

Если вы получаете какие-либо ошибки памяти при использовании tall/gather, рассмотрите увеличение этого значения.

spark.dynamicAllocation.enabledfalse

Эта опция интегрирует Spark с управлением ресурсами YARN. Spark инициирует как можно больше исполнителей, учитывая потребность в памяти исполнителя и количество ядер. Это свойство требует настройки кластера.

Установка значения свойства true определяет, использовать ли динамическое выделение ресурсов, которое масштабирует количество исполнителей, зарегистрированных в этом приложении, вверх и вниз на основе рабочей нагрузки.

Это свойство требует spark.shuffle.service.enabled будет установлен. Также релевантны следующие строения spark.dynamicAllocation.minExecutors, spark.dynamicAllocation.maxExecutors, и spark.dynamicAllocation.initialExecutors

spark.shuffle.service.enabledfalse

Включает службу внешнего тасования. Эта служба сохраняет файлы shuffle, записанные исполнителями, чтобы можно было безопасно удалить исполнители. Это должно быть включено, если spark.dynamicAllocation.enabled установлено в true. Чтобы включить службу внешнего тасования, ее необходимо настроить в порядок.

Специфические свойства MATLAB

Имя свойства (ключ)По умолчанию (значение)Описание
spark.matlab.worker.debugfalseДля использования только в автономном/интерактивном режиме. Если установлено значение true, развертываемое приложение MATLAB Spark, выполняемое в среде рабочего стола MATLAB, запускает другой сеанс работы с MATLAB как рабочий и будет входить в отладчик. Логгирование информация направлено на log_<nbr>.txt.
spark.matlab.worker.reusetrueКогда установлено значение trueисполнитель Spark объединяет рабочие места и повторно использует их с одного этапа на следующий. Работа завершается, когда исполнитель, под которым работают работники, прекращает работать.
spark.matlab.worker.profilefalseДействителен только при использовании сеанса MATLAB в качестве рабочего. Когда установлено значение trueон включает Профилировщика MATLAB и генерирует отчет Profile, который сохраняется в файле profworker_<split_index>_<socket>_<worker pass>.mat.
spark.matlab.worker.numberOfKeys10000Количество уникальных ключей, которые могут храниться в containers.Map объект при выполнении *ByKey операции перед разливом данных карты в файл.
spark.matlab.executor.timeout600000

Тайм-аут исполнителя искры в миллисекундах. Не применяется при развертывании длинных массивов.

Мониторинг и логгирование

Имя свойства (ключ)По умолчанию (значение)Описание
spark.history.fs.logDirectoryfile:/tmp/spark-events

Директория, содержащий журналы событий приложений, загружаемые сервером истории.

spark.eventLog.dirfile:///tmp/spark-events

Базовая директория, в котором регистрируются события Spark, если spark.eventLog.enabled является true. В этом базовом каталоге Spark создает подкаталог для каждого приложения и регистрирует события, характерные для приложения, в этом каталоге. Вы можете задать это в унифицированном расположении, подобном директории HDFS™, чтобы архивные файлы могли считываться сервером истории.

spark.eventLog.enabledfalse

Регистрировать ли события Spark. Это полезно для восстановления веб-интерфейса пользователя после завершения работы приложения.

Типы данных: char

Аргументы в виде пар имя-значение

Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

Карта пар "ключ-значение", заданная как containers.Map объект.

Пример: 'ExecutorEnv', containers.Map({'SPARK_JAVA_OPTS'}, {'-Djava.library.path=/my/custom/path'})

A вектора символов, задающее путь для MATLAB Runtime в одинарных кавычках ''.

Пример: 'MCRRoot', '/share/MATLAB/MATLAB_Runtime/v91'

Типы данных: char | string

Свойства

Свойства этого класса скрыты.

Методы

Для этого класса отсутствуют исполняемые методы пользователя.

Примеры

свернуть все

The SparkConf класс позволяет вам сконфигурировать приложение с параметрами Spark как пары "ключ-значение".

sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);

Подробнее о

расширить все

Ссылки

Для получения дополнительной информации см. последнюю документацию Spark.

См. также

Классы

Темы

Введенный в R2016b

Документация MATLAB Compiler

Поддержка

Для просмотра документации необходимо авторизоваться на сайте