Exponenta Banner

matlab.compiler.mlspark.SparkConf class

Пакет: matlab.compiler.mlspark
Суперклассы:

Интерфейсный класс, чтобы сконфигурировать приложение параметрами Spark как пары "ключ-значение"

расширьте все на странице

Описание

SparkConf объектно-ориентированная память параметры конфигурации приложения, развертываемого на Spark™. Каждое приложение должно быть сконфигурировано до развертывания в кластере Spark. Параметры конфигурации передаются на кластер Spark через SparkContext.

Конструкция

conf = matlab.compiler.mlspark.SparkConf('AppName',name,'Master',url,'SparkProperties',prop) создает SparkConf объект с заданными параметрами конфигурации.

conf = matlab.compiler.mlspark.SparkConf(___,Name,Value) создает SparkConf объект с дополнительными параметрами конфигурации, заданными одним или несколькими Имя, аргументы пары Значения. Name имя свойства класса и Value соответствующее значение. Name должен появиться в одинарных кавычках (''). Можно задать несколько аргументов пары "имя-значение" в любом порядке как Name1,Value1,...,NameN,ValueN.

Входные параметры

развернуть все

Имя приложения, заданного как вектор символов в одинарных кавычках ('').

Пример: 'AppName', 'myApp'

Типы данных: char | string

Имя основного URL, заданного как вектор символов в одинарных кавычках ('').

URLОписание
local

Запустите Spark локально с одним рабочим потоком. Нет никакого параллелизма путем выбирания этой опции.

local[K]

Запустите Spark локально с K рабочие потоки. Установите K к количеству ядер на вашей машине.

local[*]

Запустите Spark локально со столькими же рабочих потоков сколько логические ядра на вашей машине.

yarn-clientСоединитесь с кластером YARN Hadoop® в клиентском режиме. Кластерное местоположение найдено на основе HADOOP_CONF_DIR или YARN_CONF_DIR переменная.

Пример: 'Master', 'yarn-client'

Типы данных: char | string

containers.Map объект, содержащий свойства настройки Spark как пары "ключ-значение".

Примечание

При развертывании к локальному кластеру с помощью MATLAB API для Spark, 'SparkProperties' имя свойства может быть проигнорировано во время конструкции SparkConf объект, таким образом, не требуя никакого значения для prop. Или можно установить prop к пустому containers.Map объект можно следующим образом:

'SparkProperties',containers.Map({''},{''})
Ключ и значение containers.Map объектом является пустой char векторы.

При развертывании к кластеру YARN Hadoop, установленному значение для prop с соответствующими свойствами настройки Spark как пары "ключ-значение". Точный набор свойств настройки Spark варьируется от одного сценария развертывания до другого, на основе кластерной среды развертывания. Пользователи должны проверить настройку Spark с системным администратором, чтобы использовать соответствующие свойства настройки. См. таблицу для обычно используемых свойств Spark. Для полного набора свойств см. последнюю документацию Spark.

Под управлением Spark на YARN

Имя свойства (ключ)Значение по умолчанию (Значение)Описание
spark.executor.cores1

Количество ядер, чтобы использовать на каждом исполнителе.

Для автономного режима YARN и Spark только. В автономном режиме Spark, устанавливая этот параметр позволяет приложению запускать несколько исполнителей на том же рабочем, при условии, что существует достаточно ядер на том рабочем. В противном случае, только один исполнитель на выполнение приложения на каждом рабочем.

spark.executor.instances2

Количество исполнителей.

Примечание

Это свойство несовместимо с spark.dynamicAllocation.enabled. Если оба spark.dynamicAllocation.enabled и spark.executor.instances заданы, динамическое выделение выключено и конкретное количество spark.executor.instances используется.

spark.driver.memory

  • 1g

  • 2048m (рекомендуемый)

Объем памяти, чтобы использовать для процесса драйвера.

Если вы вытаскиваете кого-либо из ошибок памяти при использовании tall/gather, рассмотрите увеличение этого значения.

spark.executor.memory

  • 1g

  • 2048m (рекомендуемый)

Объем памяти, чтобы использовать на процесс исполнителя.

Если вы вытаскиваете кого-либо из ошибок памяти при использовании tall/gather, рассмотрите увеличение этого значения.

spark.yarn.executor.memoryOverhead

  • executorMemory * 0.10, с минимумом 384.

  • 4096m (рекомендуемый)

Сумма памяти вне кучи (в MBS), чтобы быть выделенным на исполнителя.

Если вы вытаскиваете кого-либо из ошибок памяти при использовании tall/gather, рассмотрите увеличение этого значения.

spark.dynamicAllocation.enabledfalse

Эта опция интегрирует Spark с управлением ресурсами YARN. Spark инициирует как можно больше исполнителей, учитывая требования к памяти исполнителя и количество ядер. Это свойство требует, чтобы кластер был настроен.

Установка этого свойства к true задает, использовать ли динамическое распределение ресурсов, которое масштабирует количество исполнителей, указанных с этим приложением вверх и вниз на основе рабочей нагрузки.

Это свойство требует spark.shuffle.service.enabled быть установленным. Следующие настройки также релевантны: spark.dynamicAllocation.minExecutors, spark.dynamicAllocation.maxExecutors, и spark.dynamicAllocation.initialExecutors

spark.shuffle.service.enabledfalse

Включает внешний сервис перестановки. Этот сервис сохраняет файлы перестановки, записанные исполнителями, таким образом, исполнители могут быть безопасно удалены. Это должно быть включено если spark.dynamicAllocation.enabled установлен в true. Внешний сервис перестановки должен быть настроен для того, чтобы включить его.

MATLAB определенные свойства

Имя свойства (ключ)Значение по умолчанию (Значение)Описание
spark.matlab.worker.debugfalseДля использования в автономном / интерактивном режиме только. Если установлено в истину, Spark развертываемое приложение MATLAB, выполняемое в среде рабочего стола MATLAB, запускает другой сеанс работы с MATLAB как рабочего и введет отладчик. Логгирование информации направлено к log_<nbr>.txt.
spark.matlab.worker.reusetrueКогда установлено в true, исполнитель Spark объединяет рабочих и снова использует их от одного этапа до следующего. Рабочие отключают, когда исполнитель, при котором запускаются рабочие, отключает.
spark.matlab.worker.profilefalseТолько допустимый при использовании сеанса MATLAB как рабочий. Когда установлено в true, это включает профилировщика MATLAB и генерирует отчет Профиля, который сохранен в файл profworker_<split_index>_<socket>_<worker pass>.mat.
spark.matlab.worker.numberOfKeys10000Количество уникальных клавиш, которые могут быть удержаны в containers.Map возразите при выполнении *ByKey операции перед данными о карте пролиты к файлу.
spark.matlab.executor.timeout600000

Тайм-аут исполнителя Spark в миллисекундах. Не применимый при развертывании длинных массивов.

Контроль и логгирование

Имя свойства (ключ)Значение по умолчанию (Значение)Описание
spark.history.fs.logDirectoryfile:/tmp/spark-events

Директория, которая содержит журналы событий приложения, чтобы загрузиться сервером истории.

spark.eventLog.dirfile:///tmp/spark-events

Основная директория, в которой события Spark регистрируются, если spark.eventLog.enabled true. В рамках этой основной директории Spark создает sub директорию для каждого приложения и регистрирует события, характерные для приложения в этой директории. Можно установить это на объединенное местоположение как директория HDFS™, таким образом, файлы истории могут быть считаны сервером истории.

spark.eventLog.enabledfalse

Регистрировать ли события Spark. Это полезно для восстановления веб-пользовательского интерфейса после того, как приложение закончилось.

Типы данных: char

Аргументы в виде пар имя-значение

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Карта пар "ключ-значение", заданных как containers.Map объект.

Пример: 'ExecutorEnv', containers.Map({'SPARK_JAVA_OPTS'}, {'-Djava.library.path=/my/custom/path'})

Вектор символов, задающий путь к MATLAB Runtime в одинарных кавычках ''.

Пример: 'MCRRoot', '/share/MATLAB/MATLAB_Runtime/v91'

Типы данных: char | string

Свойства

Свойства этого класса скрыты.

Методы

Нет никаких пользовательских исполнимых методов для этого класса.

Примеры

свернуть все

SparkConf класс позволяет вам конфигурировать приложение параметрами Spark как пары "ключ-значение".

sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);

Больше о

развернуть все

Ссылки

См. последнюю документацию Spark для получения дополнительной информации.

Смотрите также

Классы

Темы

Введенный в R2017b

Документация MATLAB Compiler

Поддержка