exponenta event banner

контрольно-пропускной пункт

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Пометить RDD для контрольных точек

Синтаксис

checkpoint(obj)

Описание

checkpoint(obj) отмечает RDD для контрольной точки.

Входные аргументы

развернуть все

Входной RDD, который должен быть помечен для контрольной точки, указанный как RDD объект.

Примеры

развернуть все

Используйте checkpoint метод сохранения RDD в файле в каталоге контрольных точек.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% checkpoint
sc.setCheckpointDir('myDir')
myFile = sc.parallelize({1,2,3});
mapRDD = myFile.map(@(x)({x,1}));
mapRDD.checkpoint();
Представлен в R2016b