matlab.compiler.mlspark. Класс SparkConf

Пакет: matlab.compiler.mlspark
Суперклассы:

Интерфейсный класс, чтобы сконфигурировать приложение с параметрами Spark как пары "ключ-значение"

расширьте все на странице

Описание

SparkConf объектно-ориентированная память параметры конфигурации приложения, развертываемого на Spark™. Каждое приложение должно быть сконфигурировано до развертывания на кластере Spark. Параметры конфигурации передаются на кластер Spark через SparkContext.

Конструкция

conf = matlab.compiler.mlspark.SparkConf('AppName',name,'Master',url,'SparkProperties',prop) создает объект SparkConf с заданными параметрами конфигурации.

conf = matlab.compiler.mlspark.SparkConf(___,Name,Value) создает объект SparkConf с дополнительными параметрами конфигурации, заданными одним или несколькими Имя, аргументы пары Значения. Name является именем свойства класса, и Value является соответствующим значением. Имя должно находиться внутри одинарных кавычек (' '). Можно задать несколько аргументов пары "имя-значение" в любом порядке как Name1,Value1,...,NameN,ValueN.

Входные параметры

развернуть все

Имя приложения, заданного как вектор символов в одинарных кавычках ('').

Пример: 'AppName', 'myApp'

Типы данных: char | string

Имя основного URL, заданного как вектор символов в одинарных кавычках ('').

URLОписание
local

Запустите Spark локально с одним рабочим потоком. Нет никакого параллелизма путем выбора этой опции.

local[K]

Запустите Spark локально с рабочими потоками K. Установите K на количество ядер на вашей машине.

local[*]

Запустите Spark локально со столькими же рабочих потоков сколько логические ядра на вашей машине.

yarn-clientСоединитесь с кластером YARN Hadoop® в клиентском режиме. Кластерное местоположение найдено на основе переменной HADOOP_CONF_DIR или YARN_CONF_DIR.

Пример: 'Master', 'yarn-client'

Типы данных: char | string

Объект containers.Map, содержащий свойства настройки Spark как пары "ключ-значение".

Примечание

При развертывании к локальному кластеру с помощью MATLAB API для Spark имя свойства 'SparkProperties' может быть проигнорировано во время конструкции объекта SparkConf, таким образом, не требуя никакого значения для prop. Или можно установить prop на пустой объект containers.Map можно следующим образом:

'SparkProperties',containers.Map({''},{''})
Ключ и значение объекта containers.Map являются пустыми векторами char.

При развертывании к кластеру YARN Hadoop, установленному значение для prop с соответствующими свойствами настройки Spark как пары "ключ-значение". Точный набор свойств настройки Spark отличается от одного сценария развертывания до другого, на основе кластерной среды развертывания. Пользователи должны проверить настройку Spark с системным администратором, чтобы использовать соответствующие свойства настройки. См. таблицу для обычно используемых свойств Spark. Для полного набора свойств см. последнюю документацию Spark.

Под управлением Spark на YARN

Имя свойства (ключ)Значение по умолчанию (Значение)Описание
spark.executor.cores1

Количество ядер, чтобы использовать на каждом исполнителе.

Для автономного режима YARN и Spark только. В автономном режиме Spark, устанавливая этот параметр позволяет приложению запускать несколько исполнителей на том же рабочем, при условии, что существует достаточно ядер на том рабочем. В противном случае, только один исполнитель на выполнение приложения на каждом рабочем.

spark.executor.instances2

Количество исполнителей.

Примечание

Это свойство несовместимо с spark.dynamicAllocation.enabled. Если и spark.dynamicAllocation.enabled и spark.executor.instances заданы, динамическое выделение выключено, и конкретное количество spark.executor.instances используется.

spark.driver.memory

  • 1g

  • 2048m (рекомендован)

Объем памяти, чтобы использовать для процесса драйвера.

Если вы вытаскиваете кого-либо из ошибок памяти при использовании tall/gather, рассматриваете увеличение этого значения.

spark.executor.memory

  • 1g

  • 2048m (рекомендован)

Объем памяти, чтобы использовать на процесс исполнителя.

Если вы вытаскиваете кого-либо из ошибок памяти при использовании tall/gather, рассматриваете увеличение этого значения.

spark.yarn.executor.memoryOverhead

  • executorMemory * 0.10, с минимумом 384.

  • 4096m (рекомендован)

Сумма памяти вне кучи (в MBS), чтобы быть выделенным на исполнителя.

Если вы вытаскиваете кого-либо из ошибок памяти при использовании tall/gather, рассматриваете увеличение этого значения.

spark.dynamicAllocation.enabledfalse

Эта опция интегрирует Spark с управлением ресурсами YARN. Spark инициирует как можно больше исполнителей, учитывая требования к памяти исполнителя и количество ядер. Это свойство требует, чтобы кластер был настроен.

Установка этого свойства к true задает, использовать ли динамическое распределение ресурсов, которое масштабирует количество исполнителей, указанных с этим приложением вверх и вниз на основе рабочей нагрузки.

Это свойство требует, чтобы spark.shuffle.service.enabled был установлен. Следующие настройки также релевантны: spark.dynamicAllocation.minExecutors, spark.dynamicAllocation.maxExecutors и spark.dynamicAllocation.initialExecutors

spark.shuffle.service.enabledfalse

Включает внешний сервис перестановки. Этот сервис сохраняет файлы перестановки, записанные исполнителями, таким образом, исполнители могут быть безопасно удалены. Это должно быть включено, если spark.dynamicAllocation.enabled установлен в true. Внешний сервис перестановки должен быть настроен в порядке включить его.

MATLAB определенные свойства

Имя свойства (ключ)Значение по умолчанию (Значение)Описание
spark.matlab.worker.debugfalseДля использования в автономном / интерактивном режиме только. Если установлено в истину, Spark развертываемое приложение MATLAB, выполняемое в среде рабочего стола MATLAB, запускает другой сеанс работы с MATLAB как рабочего и введет отладчик. Журналирование информации направлено к log_<nbr>.txt.
spark.matlab.worker.reusetrueКогда установлено в true, исполнитель Spark объединяет рабочих и снова использует их от одного этапа до следующего. Рабочие отключают, когда исполнитель, при котором запускаются рабочие, отключает.
spark.matlab.worker.profilefalseТолько допустимый при использовании сеанса MATLAB как рабочий. Когда установлено в true, это включает профилировщика MATLAB и генерирует отчет Профиля, который сохранен в файл profworker_<split_index>_<socket>_<worker pass>.mat.
spark.matlab.worker.numberOfKeys10000Количество уникальных клавиш, которые могут быть удержаны в объекте containers.Map при выполнении операций *ByKey перед данными о карте, пролито к файлу.
spark.matlab.executor.timeout600000

Тайм-аут исполнителя Spark в миллисекундах. Не применимый при развертывании длинных массивов.

Контроль и журналирование

Имя свойства (ключ)Значение по умолчанию (Значение)Описание
spark.history.fs.logDirectoryfile:/tmp/spark-events

Директория, которая содержит журналы событий приложения, чтобы загрузиться сервером истории.

spark.eventLog.dirfile:///tmp/spark-events

Основная директория, в которой регистрируются события Spark, если spark.eventLog.enabled является true. В рамках этой основной директории Spark создает sub директорию для каждого приложения и регистрирует события, характерные для приложения в этой директории. Можно установить это на объединенное местоположение как директория HDFS™, таким образом, файлы истории могут быть считаны сервером истории.

spark.eventLog.enabledfalse

Регистрировать ли события Spark. Это полезно для восстановления веб-пользовательского интерфейса после того, как приложение закончилось.

Типы данных: char

Аргументы в виде пар имя-значение

Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Карта пар "ключ-значение", заданных как объект containers.Map.

Пример: 'ExecutorEnv', containers.Map({'SPARK_JAVA_OPTS'}, {'-Djava.library.path=/my/custom/path'})

Вектор символов, задающий путь к MATLAB Runtime в одинарных кавычках ''.

Пример: 'MCRRoot', '/share/MATLAB/MATLAB_Runtime/v91'

Типы данных: char | string

Свойства

Свойства этого класса скрыты.

Методы

Нет никаких пользовательских исполнимых методов для этого класса.

Примеры

свернуть все

Класс SparkConf позволяет вам конфигурировать приложение с параметрами Spark как пары "ключ-значение".

sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);

Больше о

развернуть все

Ссылки

См. последнюю документацию Spark для получения дополнительной информации.

Смотрите также

Классы

Темы

Введенный в R2017b

Документация MATLAB Compiler
Поддержка
Для просмотра документации необходимо авторизоваться на сайте