matlab.compiler.mlspark.SparkContext class

Пакет: matlab.compiler.mlspark
Суперклассы:

Класс интерфейса для инициализации соединения с кластером с поддержкой Spark

Описание

A SparkContext объект служит точкой входа в Spark™ путем инициализации соединения с кластером Spark. Принимает SparkConf объект как входной параметр и использует параметры, указанные в этом объекте, для настройки внутренних сервисов, необходимых для установления соединения с окружением выполнения Spark.

Конструкция

sc = matlab.compiler.mlspark.SparkContext(conf) создает SparkContext объект инициализирует соединение с кластером Spark.

Входные параметры

расширить все

`conf` - Имя переменной, представляющее `SparkConf` объект
`SparkConf` объект

Передайте SparkConf объект как вход в SparkContext.

Пример: sc = matlab.compiler.mlspark.SparkContext(conf);

См. matlab.compiler.mlspark.SparkConf для получения информации о том, как создать SparkConf объект.

Свойства

Свойства этого класса скрыты.

Методы

addJar	Добавьте зависимости файла JAR для всех задач, которые необходимо выполнить в `SparkContext`
передача	Широковещательная передача переменной только для чтения в кластер
datastoreToRDD	Преобразуйте `datastore MATLAB` в Spark RDD
удалить	Завершите подключение к кластеру с поддержкой Spark
getSparkConf	Получение `SparkConf` параметры конфигурации
найти что-либо подобное	Создайте RDD из набора локальных значений MATLAB
setCheckpointDir	Установите директорию, под которым должны быть проверены RDD
setLogLevel	Установите уровень журнала
textFile	Создайте RDD из текстового файла

Примеры

свернуть все

Инициализация подключения к кластеру с поддержкой Spark

The SparkContext класс инициализирует подключение к кластеру с поддержкой Spark с помощью свойств Spark.

% Setup Spark Properties as a containers.Map object
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

Подробнее о

расширить все

SparkContext

A SparkContext представляет соединение с кластером Spark. Он является точкой входа в Spark и настраивает внутренние сервисы, необходимые для установления подключения к окружению выполнения Spark.

Ссылки

Для получения дополнительной информации см. последнюю документацию Spark.

См. также

Классы

matlab.compiler.mlspark.RDD | matlab.compiler.mlspark.SparkConf

Темы

Введенный в R2016b

Документация MATLAB Compiler

Поддержка

Памятка переводчика

1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.

2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.

3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.

4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.

5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.

Документация