контрольная точка

Класс: matlab.compiler.mlspark. RDD
Пакет: matlab.compiler.mlspark

Отметьте RDD для выгрузки

Синтаксис

checkpoint(obj)

Описание

checkpoint(obj) отмечает RDD для выгрузки.

Входные параметры

развернуть все

Вход RDD, который должен быть отмечен для выгрузки, задал как объект RDD.

Примеры

развернуть все

Используйте метод checkpoint, чтобы сохранить RDD в файл в директории контрольной точки.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% checkpoint
sc.setCheckpointDir('myDir')
myFile = sc.parallelize({1,2,3});
mapRDD = myFile.map(@(x)({x,1}));
mapRDD.checkpoint();

Введенный в R2017b