Exponenta Banner

datastoreToRDD

Класс: matlab.compiler.mlspark.SparkContext
Пакет: matlab.compiler.mlspark

Преобразуйте MATLAB datastore к Spark RDD

расширьте все на странице

Синтаксис

rdd = datastoreToRDD(sc,ds)

Описание

rdd = datastoreToRDD(sc,ds) преобразует MATLAB® datastore объект ds к Spark™ RDD.

Входные параметры

развернуть все

SparkContext, чтобы использовать, заданный как SparkContext объект.

Datastore, который будет преобразован в RDD, заданный как datastore MATLAB объект.

Выходные аргументы

развернуть все

Выведите RDD представление конвертированного datastore объект, возвращенный как RDD объект.

Примеры

развернуть все

Преобразуйте datastore MATLAB возразите против Spark RDD.

% Setup Spark Properties as a MATLAB Map object using a containers.Map class
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf(...
    'AppName'        , 'myApp', ...
    'Master'         , 'local[1]', ...
    'SparkProperties',  sparkProp );
     
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

% Create a MATLAB datastore 
ds = datastore('airlinesmall.csv','TreatAsMissing','NA');

% Convert MATLAB datastore to Spark RDD 
rdd = datastoreToRDD(sc,ds);

% Alternate object usage:
rdd = sc.datastoreToRDD(ds);

Введенный в R2017b

Документация MATLAB Compiler
Поддержка