класс matlab.compiler.mlspark.SparkContext

Пакет: matlab.compiler.mlspark
Суперклассы:

Класс интерфейса для инициализации подключения к кластеру с поддержкой Spark

Описание

A SparkContext объект служит точкой входа в Spark™ путем инициализации подключения к кластеру Spark. Он принимает SparkConf объект в качестве входного аргумента и использует параметры, указанные в этом объекте, для настройки внутренних служб, необходимых для установления подключения к среде выполнения Spark.

Строительство

sc = matlab.compiler.mlspark.SparkContext(conf) создает SparkContext объект инициализирует подключение к кластеру Spark.

Входные аргументы

развернуть все

`conf` - Имя переменной, представляющей `SparkConf` объект
`SparkConf` объект

Пройти SparkConf объект в качестве входных данных для SparkContext.

Пример: sc = matlab.compiler.mlspark.SparkContext(conf);

Посмотрите matlab.compiler.mlspark.SparkConf для получения информации о том, как создать SparkConf объект.

Свойства

Свойства этого класса скрыты.

Методы

addJar	Добавление зависимости файла JAR для всех задач, которые необходимо выполнить в `SparkContext`
передача	Широковещательная передача переменной, доступной только для чтения, в кластер
datastoreToRDD	Преобразование MATLAB `datastore` в искровой RDD
удалить	Завершение подключения к кластеру с поддержкой искр
getSparkConf	Добраться `SparkConf` параметры конфигурации
найти что-либо подобное	Создание RDD из коллекции локальных значений MATLAB
setCheckpointDir	Установка каталога, в котором должны быть установлены контрольные точки RDD
setLogLevel	Установить уровень журнала
textFile	Создание RDD из текстового файла

Примеры

свернуть все

Инициализация подключения к кластеру с поддержкой искр

SparkContext класс инициализирует подключение к кластеру с поддержкой Spark с помощью свойств Spark.

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

Подробнее

развернуть все

SparkContext

SparkContext представляет соединение с кластером Spark. Это точка входа в Spark и настройка внутренних служб, необходимых для подключения к среде выполнения Spark.

Ссылки

Дополнительные сведения см. в последней документации по Spark.

См. также

Классы

matlab.compiler.mlspark.RDD | matlab.compiler.mlspark.SparkConf

Темы

Представлен в R2016b

Документация по компилятору MATLAB

Поддержка

Памятка переводчика

1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.

2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.

3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.

4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.

5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.

Документация