matlab.compiler.mlspark.SparkContext class

Пакет: matlab.compiler.mlspark
Суперклассы:

Интерфейсный класс, чтобы инициализировать связь с Spark включил кластер

Описание

SparkContext объект служит точкой входа к Spark™ путем инициализации связи с кластером Spark. Это принимает SparkConf возразите как входной параметр и использование параметры, заданные в том объекте настроить внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.

Конструкция

sc = matlab.compiler.mlspark.SparkContext(conf) создает SparkContext объект инициализирует связь с кластером Spark.

Входные параметры

развернуть все

`conf` — Имя переменной, представляющее `SparkConf` объект
`SparkConf` объект

Передайте SparkConf возразите, как введено против SparkContext.

Пример: sc = matlab.compiler.mlspark.SparkContext(conf);

Смотрите matlab.compiler.mlspark.SparkConf для получения информации о том, как создать SparkConf объект.

Свойства

Свойства этого класса скрыты.

Методы

addJar	Добавьте зависимость от файла JAR для всех задач, которые должны быть выполнены в `SparkContext`
широковещательная передача	Широковещательно передайте переменную только для чтения к кластеру
datastoreToRDD	Преобразуйте MATLAB `datastore` к Spark RDD
удаление	Завершите работу связь с Spark включила кластер
getSparkConf	Получите `SparkConf` параметры конфигурации
параллелизировать	Создайте RDD из набора локальных значений MATLAB
setCheckpointDir	Установите директорию, в соответствии с которой должны быть отмечены контрольной точкой RDDs
setLogLevel	Установите логарифмический уровень
текстовый файл	Создайте RDD из текстового файла

Примеры

свернуть все

Инициализируйте связь с Spark Enabled кластер

SparkContext класс инициализирует связь с включенным кластером Spark с помощью свойств Spark.

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

Больше о

развернуть все

SparkContext

SparkContext представляет связь с кластером Spark. Это - точка входа к Spark и настраивает внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.

Ссылки

См. последнюю документацию Spark для получения дополнительной информации.

Смотрите также

Классы

matlab.compiler.mlspark.SparkConf | matlab.compiler.mlspark.RDD

Темы

Введенный в R2017b

Документация MATLAB Compiler

Поддержка

Памятка переводчика

1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.

2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.

3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.

4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.

5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.

Документация