Exponenta Banner

datastoreToRDD

Класс: matlab.compiler.mlspark.SparkContext
Пакет: matlab.compiler.mlspark

Преобразуйте datastore MATLAB в Spark RDD

развернуть все на странице

Синтаксис

rdd = datastoreToRDD(sc,ds)

Описание

rdd = datastoreToRDD(sc,ds) преобразует MATLAB® datastore ds объекта к Spark™ RDD.

Входные параметры

расширить все

Используемый SparkContext, заданный как SparkContext объект.

Datastore, который будет преобразован в RDD, заданный как MATLAB datastore объект.

Выходные аргументы

расширить все

Выходной RDD, представляющий преобразованную datastore объект, возвращенный как RDD объект.

Примеры

расширить все

Преобразуйте datastore MATLAB объект - Spark RDD.

% Setup Spark Properties as a MATLAB Map object using a containers.Map class
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf(...
    'AppName'        , 'myApp', ...
    'Master'         , 'local[1]', ...
    'SparkProperties',  sparkProp );
     
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

% Create a MATLAB datastore 
ds = datastore('airlinesmall.csv','TreatAsMissing','NA');

% Convert MATLAB datastore to Spark RDD 
rdd = datastoreToRDD(sc,ds);

% Alternate object usage:
rdd = sc.datastoreToRDD(ds);
Введенный в R2016b

Документация MATLAB Compiler

Поддержка