Exponenta Banner

matlab.compiler.mlspark. Класс SparkContext

Пакет: matlab.compiler.mlspark
Суперклассы:

Интерфейсный класс, чтобы инициализировать связь с Spark включил кластер

расширьте все на странице

Описание

Объект SparkContext служит точкой входа к Spark™ путем инициализации связи с кластером Spark. Это принимает объект SparkConf как входной параметр и использует параметры, заданные в том объекте настроить внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.

Конструкция

sc = matlab.compiler.mlspark.SparkContext(conf) создает объект SparkContext, инициализирует связь с кластером Spark.

Входные параметры

развернуть все

Передайте объект SparkConf, как введено SparkContext.

Пример: sc = matlab.compiler.mlspark.SparkContext(conf);

Смотрите matlab.compiler.mlspark.SparkConf для получения информации о том, как создать объект SparkConf.

Свойства

Свойства этого класса скрыты.

Методы

addJarДобавьте зависимость от файла JAR для всех задач, которые должны быть выполнены в SparkContext
широковещательная передачаШироковещательно передайте переменную только для чтения к кластеру
datastoreToRDDПреобразуйте MATLAB datastore в Spark RDD
удалениеЗавершите работу связь с Spark включила кластер
getSparkConfПолучите параметры конфигурации SparkConf
параллелизироватьСоздайте RDD из набора локальных значений MATLAB
setCheckpointDirУстановите директорию, в соответствии с которой должны быть отмечены контрольной точкой RDDs
setLogLevelУстановите логарифмический уровень
текстовый файлСоздайте RDD из текстового файла

Примеры

свернуть все

Класс SparkContext инициализирует связь с включенным кластером Spark с помощью свойств Spark.

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

Больше о

развернуть все

Ссылки

См. последнюю документацию Spark для получения дополнительной информации.

Смотрите также

Классы

Темы

Введенный в R2017b

Документация MATLAB Compiler
Поддержка