Exponenta Banner
exponenta event banner

datastoreToRDD

Класс: matlab.compiler.mlspark.SparkContext
Пакет: matlab.compiler.mlspark

Преобразование MATLAB datastore в искровой RDD

развернуть все на странице

Синтаксис

rdd = datastoreToRDD(sc,ds)

Описание

rdd = datastoreToRDD(sc,ds) преобразует MATLAB ®datastore объект ds в Spark™ RDD.

Входные аргументы

развернуть все

Используемый SparkContext, указанный как SparkContext объект.

Хранилище данных для преобразования в RDD, указанное как MATLAB datastore объект.

Выходные аргументы

развернуть все

Выходной RDD, представляющий преобразованный datastore объект, возвращенный как RDD объект.

Примеры

развернуть все

Преобразование MATLAB datastore объект для искрового RDD.

% Setup Spark Properties as a MATLAB Map object using a containers.Map class
sparkProp = containers.Map({'spark.executor.cores'}, {'1'}); 

% Create SparkConf object
conf = matlab.compiler.mlspark.SparkConf(...
    'AppName'        , 'myApp', ...
    'Master'         , 'local[1]', ...
    'SparkProperties',  sparkProp );
     
% Create a SparkContext
sc = matlab.compiler.mlspark.SparkContext(conf);

% Create a MATLAB datastore 
ds = datastore('airlinesmall.csv','TreatAsMissing','NA');

% Convert MATLAB datastore to Spark RDD 
rdd = datastoreToRDD(sc,ds);

% Alternate object usage:
rdd = sc.datastoreToRDD(ds);
Представлен в R2016b

Документация по компилятору MATLAB

Поддержка