Пакет: matlab.compiler.mlspark
Суперклассы:
Интерфейсный класс, чтобы сконфигурировать приложение параметрами Spark как пары "ключ-значение"
SparkConf
объектно-ориентированная память параметры конфигурации приложения, развертываемого на Spark™. Каждое приложение должно быть сконфигурировано до развертывания на кластере Spark. Параметры конфигурации передаются на кластер Spark через SparkContext
.
создает conf
= matlab.compiler.mlspark.SparkConf('AppName',name
,'Master',url
,'SparkProperties',prop
)SparkConf
объект с заданными параметрами конфигурации.
создает conf
=
matlab.compiler.mlspark.SparkConf(___,Name,Value
)SparkConf
объект с дополнительными параметрами конфигурации, заданными одним или несколькими Имя, аргументы пары Значения. Name
имя свойства класса и Value
соответствующее значение. Name
должен появиться в одинарных кавычках (''
). Можно задать несколько аргументов пары "имя-значение" в любом порядке как Name1,Value1,...,NameN,ValueN
.
name
— Имя приложения MATLAB® развертывается на SparkИмя приложения, заданного как вектор символов в одинарных кавычках (''
).
Пример: 'AppName', 'myApp'
Типы данных: char |
string
url
— Основной URL, чтобы соединиться сИмя основного URL, заданного как вектор символов в одинарных кавычках (''
).
URL | Описание |
---|---|
local | Запустите Spark локально с одним рабочим потоком. Нет никакого параллелизма путем выбирания этой опции. |
local[K] | Запустите Spark локально с |
local[*] | Запустите Spark локально со столькими же рабочих потоков сколько логические ядра на вашей машине. |
yarn-client | Соединитесь с кластером YARN Hadoop® в клиентском режиме. Кластерное местоположение найдено на основе HADOOP_CONF_DIR или YARN_CONF_DIR переменная. |
Пример: 'Master', 'yarn-client'
Типы данных: char |
string
prop
— Карта пар "ключ-значение", которые задают свойства настройки Sparkcontainers.Map
объектcontainers.Map
объект, содержащий свойства настройки Spark как пары "ключ-значение".
При развертывании к локальному кластеру с помощью MATLAB API в Spark, 'SparkProperties'
имя свойства может быть проигнорировано во время конструкции SparkConf
объект, таким образом, не требуя никакого значения для prop
. Или можно установить prop
к пустому containers.Map
объект можно следующим образом:
'SparkProperties',containers.Map({''},{''})
containers.Map
объектом является пустой char
векторы. При развертывании к кластеру YARN Hadoop, установленному значение для prop
с соответствующими свойствами настройки Spark как пары "ключ-значение". Точный набор свойств настройки Spark варьируется от одного сценария развертывания до другого, на основе кластерной среды развертывания. Пользователи должны проверить настройку Spark с системным администратором, чтобы использовать соответствующие свойства настройки. См. таблицу для обычно используемых свойств Spark. Для полного набора свойств см. последнюю документацию Spark.
Под управлением Spark на YARN
Имя свойства (ключ) | Значение по умолчанию (Значение) | Описание |
---|---|---|
spark.executor.cores | 1
| Количество ядер, чтобы использовать на каждом исполнителе. Для автономного режима YARN и Spark только. В автономном режиме Spark, устанавливая этот параметр позволяет приложению запускать несколько исполнителей на том же рабочем, при условии, что существует достаточно ядер на том рабочем. В противном случае, только один исполнитель на выполнение приложения на каждом рабочем. |
spark.executor.instances | 2
| Количество исполнителей. ПримечаниеЭто свойство несовместимо с
|
spark.driver.memory |
| Объем памяти, чтобы использовать в процессе драйвера. Если вы вытаскиваете кого-либо из ошибок памяти при использовании |
spark.executor.memory |
| Объем памяти, чтобы использовать на процесс исполнителя. Если вы вытаскиваете кого-либо из ошибок памяти при использовании |
spark.yarn.executor.memoryOverhead |
| Сумма памяти вне кучи (в MBS), чтобы быть выделенным на исполнителя. Если вы вытаскиваете кого-либо из ошибок памяти при использовании |
spark.dynamicAllocation.enabled | false | Эта опция интегрирует Spark с управлением ресурсами YARN. Spark инициирует как можно больше исполнителей, учитывая требования к памяти исполнителя и количество ядер. Это свойство требует, чтобы кластер был настроен. Установка этого свойства к Это свойство требует |
spark.shuffle.service.enabled | false | Включает внешний сервис перестановки. Этот сервис сохраняет файлы перестановки, записанные исполнителями, таким образом, исполнители могут быть безопасно удалены. Это должно быть включено если |
MATLAB определенные свойства
Имя свойства (ключ) | Значение по умолчанию (Значение) | Описание |
---|---|---|
spark.matlab.worker.debug | false | Для использования в автономном / интерактивном режиме только. Если установлено в истину, Spark развертываемое приложение MATLAB, выполняемое в среде рабочего стола MATLAB, запускает другой сеанс работы с MATLAB как рабочего и введет отладчик. Логгирование информации направлено к log_<nbr>.txt . |
spark.matlab.worker.reuse | true | Когда установлено в true , исполнитель Spark объединяет рабочих и снова использует их от одного этапа до следующего. Рабочие отключают, когда исполнитель, при котором запускаются рабочие, отключает. |
spark.matlab.worker.profile | false | Только допустимый при использовании сеанса MATLAB как рабочий. Когда установлено в true , это включает профилировщика MATLAB и генерирует отчет Профиля, который сохранен в файл profworker_<split_index>_<socket>_<worker pass>.mat . |
spark.matlab.worker.numberOfKeys | 10000
| Количество уникальных клавиш, которые могут быть удержаны в containers.Map возразите при выполнении *ByKey операции перед данными о карте пролиты к файлу. |
spark.matlab.executor.timeout | 600000
| Тайм-аут исполнителя Spark в миллисекундах. Не применимый при развертывании длинных массивов. |
Контроль и логгирование
Имя свойства (ключ) | Значение по умолчанию (Значение) | Описание |
---|---|---|
spark.history.fs.logDirectory | file:/tmp/spark-events | Директория, которая содержит журналы событий приложения, чтобы загрузиться сервером истории. |
spark.eventLog.dir | file:///tmp/spark-events | Основная директория, в которой события Spark регистрируются, если |
spark.eventLog.enabled | false | Регистрировать ли события Spark. Это полезно для восстановления веб-пользовательского интерфейса после того, как приложение закончилось. |
Типы данных: char
Задайте дополнительные разделенные запятой пары Name,Value
аргументы. Name
имя аргумента и Value
соответствующее значение. Name
должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN
.
'ExecutorEnv'
— Карта пар "ключ-значение", которые будут использоваться, чтобы установить среду исполнителяcontainers.Map
объектКарта пар "ключ-значение", заданных как containers.Map
объект.
Пример: 'ExecutorEnv', containers.Map({'SPARK_JAVA_OPTS'}, {'-Djava.library.path=/my/custom/path'})
'MCRRoot'
— Путь к MATLAB Runtime, который используется, чтобы выполнить приложение драйвераВектор символов, задающий путь к MATLAB Runtime в одинарных кавычках ''
.
Пример: 'MCRRoot', '/share/MATLAB/MATLAB_Runtime/v91'
Типы данных: char |
string
Свойства этого класса скрыты.
Нет никаких пользовательских исполнимых методов для этого класса.
SparkConf
класс позволяет вам конфигурировать приложение параметрами Spark как пары "ключ-значение".
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ... 'Master','local[1]','SparkProperties',sparkProp);
SparkConf хранит параметры конфигурации приложения, развертываемого на Spark. Каждое приложение должно быть сконфигурировано до того, чтобы быть развернутым на кластере Spark. Некоторые параметры конфигурации задают свойства приложения, и некоторые используются Spark, чтобы выделить ресурсы на кластере. Параметры конфигурации передаются на кластер Spark через SparkContext
.
См. последнюю документацию Spark для получения дополнительной информации.
Вы щелкнули по ссылке, которая соответствует команде MATLAB:
Выполните эту команду, введя её в командном окне MATLAB.
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.