Пакет: matlab.compiler.mlspark
Суперклассы:
Интерфейсный класс, чтобы инициализировать связь с Spark включил кластер
SparkContext
объект служит точкой входа к Spark™ путем инициализации связи с кластером Spark. Это принимает SparkConf
возразите как входной параметр и использование параметры, заданные в том объекте настроить внутренние сервисы, необходимые, чтобы установить связь со средой выполнения Spark.
создает sc
= matlab.compiler.mlspark.SparkContext(conf
)SparkContext
объект инициализирует связь с кластером Spark.
Свойства этого класса скрыты.
addJar | Добавьте зависимость от файла JAR для всех задач, которые должны быть выполнены в SparkContext |
широковещательная передача | Широковещательно передайте переменную только для чтения к кластеру |
datastoreToRDD | Преобразуйте MATLAB datastore к Spark RDD |
удаление | Завершите работу связь с Spark включила кластер |
getSparkConf | Получите SparkConf параметры конфигурации |
параллелизировать | Создайте RDD из набора локальных значений MATLAB |
setCheckpointDir | Установите директорию, в соответствии с которой должны быть отмечены контрольной точкой RDDs |
setLogLevel | Установите логарифмический уровень |
текстовый файл | Создайте RDD из текстового файла |
См. последнюю документацию Spark для получения дополнительной информации.