checkpoint

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Отметьте RDD для выгрузки

Синтаксис

checkpoint(obj)

Описание

checkpoint(obj) помечает RDD для выгрузки.

Входные параметры

расширить все

Вход RDD, который должен быть помечен для выгрузки, заданный как RDD объект.

Примеры

расширить все

Используйте checkpoint метод сохранения RDD в файл в директории контрольных точек.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% checkpoint
sc.setCheckpointDir('myDir')
myFile = sc.parallelize({1,2,3});
mapRDD = myFile.map(@(x)({x,1}));
mapRDD.checkpoint();
Введенный в R2016b