Exponenta Banner

matlab.compiler.mlspark.SparkContext class

Пакет: matlab.compiler.mlspark
Суперклассы:

Интерфейсный класс, чтобы инициализировать связь с Spark включил кластер

расширьте все на странице

Описание

SparkContext объект служит точкой входа к Spark™ путем инициализации связи с кластером Spark. Это принимает SparkConf возразите как входной параметр и использование параметры, заданные в том объекте настроить внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.

Конструкция

sc = matlab.compiler.mlspark.SparkContext(conf) создает SparkContext объект инициализирует связь с кластером Spark.

Входные параметры

развернуть все

Передайте SparkConf возразите, как введено против SparkContext.

Пример: sc = matlab.compiler.mlspark.SparkContext(conf);

Смотрите matlab.compiler.mlspark.SparkConf для получения информации о том, как создать SparkConf объект.

Свойства

Свойства этого класса скрыты.

Методы

addJarДобавьте зависимость от файла JAR для всех задач, которые должны быть выполнены в SparkContext
широковещательная передачаШироковещательно передайте переменную только для чтения к кластеру
datastoreToRDDПреобразуйте MATLAB datastore к Spark RDD
удалениеЗавершите работу связь с Spark включила кластер
getSparkConfПолучите SparkConf параметры конфигурации
параллелизироватьСоздайте RDD из набора локальных значений MATLAB
setCheckpointDirУстановите директорию, в соответствии с которой должны быть отмечены контрольной точкой RDDs
setLogLevelУстановите логарифмический уровень
текстовый файлСоздайте RDD из текстового файла

Примеры

свернуть все

SparkContext класс инициализирует связь с включенным кластером Spark с помощью свойств Spark.

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

Больше о

развернуть все

Ссылки

См. последнюю документацию Spark для получения дополнительной информации.

Смотрите также

Классы

Темы

Введенный в R2017b

Документация MATLAB Compiler
Поддержка