matlab.compiler.mlspark. Класс SparkContext

Пакет: matlab.compiler.mlspark
Суперклассы:

Интерфейсный класс, чтобы инициализировать связь с Spark включил кластер

Описание

Объект SparkContext служит точкой входа к Spark™ путем инициализации связи с кластером Spark. Это принимает объект SparkConf как входной параметр и использует параметры, заданные в том объекте настроить внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.

Конструкция

sc = matlab.compiler.mlspark.SparkContext(conf) создает объект SparkContext, инициализирует связь с кластером Spark.

Входные параметры

развернуть все

`conf` — Имя переменной, представляющее объект `SparkConf`
Объект `SparkConf`

Передайте объект SparkConf, как введено SparkContext.

Пример: sc = matlab.compiler.mlspark.SparkContext(conf);

Смотрите matlab.compiler.mlspark.SparkConf для получения информации о том, как создать объект SparkConf.

Свойства

Свойства этого класса скрыты.

Методы

addJar	Добавьте зависимость от файла JAR для всех задач, которые должны быть выполнены в `SparkContext`
широковещательная передача	Широковещательно передайте переменную только для чтения к кластеру
datastoreToRDD	Преобразуйте MATLAB `datastore` в Spark RDD
удаление	Завершите работу связь с Spark включила кластер
getSparkConf	Получите параметры конфигурации `SparkConf`
параллелизировать	Создайте RDD из набора локальных значений MATLAB
setCheckpointDir	Установите директорию, в соответствии с которой должны быть отмечены контрольной точкой RDDs
setLogLevel	Установите логарифмический уровень
текстовый файл	Создайте RDD из текстового файла

Примеры

свернуть все

Инициализируйте связь с Spark Enabled кластер

Класс SparkContext инициализирует связь с включенным кластером Spark с помощью свойств Spark.

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

Больше о

развернуть все

SparkContext

SparkContext представляет связь с кластером Spark. Это - точка входа к Spark и настраивает внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.

Ссылки

См. последнюю документацию Spark для получения дополнительной информации.

Смотрите также

Классы

matlab.compiler.mlspark.RDD | matlab.compiler.mlspark.SparkConf

Темы

Введенный в R2017b

Документация MATLAB Compiler

Поддержка

Памятка переводчика

1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.

2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.

3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.

4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.

5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.

Документация