Exponenta Banner

datastoreToRDD

Класс: matlab.compiler.mlspark. SparkContext
Пакет: matlab.compiler.mlspark

Преобразуйте MATLAB datastore в Spark RDD

расширьте все на странице

Синтаксис

rdd = datastoreToRDD(sc,ds)

Описание

rdd = datastoreToRDD(sc,ds) преобразовывает объект ds MATLAB® datastore в Spark™ RDD.

Входные параметры

развернуть все

SparkContext, чтобы использовать, заданный как объект SparkContext.

Datastore, который будет преобразован в RDD, заданный как объект MATLAB datastore.

Выходные аргументы

развернуть все

Выведите RDD представление конвертированного объекта datastore, возвращенного как объект RDD.

Примеры

развернуть все

Преобразуйте объект MATLAB datastore в Spark RDD.

% Setup Spark Properties as a MATLAB Map object using a containers.Map class
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf(...
    'AppName'        , 'myApp', ...
    'Master'         , 'local[1]', ...
    'SparkProperties',  sparkProp );
     
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

% Create a MATLAB datastore 
ds = datastore('airlinesmall.csv','TreatAsMissing','NA');

% Convert MATLAB datastore to Spark RDD 
rdd = datastoreToRDD(sc,ds);

% Alternate object usage:
rdd = sc.datastoreToRDD(ds);

Введенный в R2017b

Документация MATLAB Compiler
Поддержка