checkpoint

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Отметьте RDD для выгрузки

Синтаксис

checkpoint(obj)

Описание

checkpoint(obj) отмечает RDD для выгрузки.

Входные параметры

развернуть все

Вход RDD, который должен быть отмечен для выгрузки, задал как RDD объект.

Примеры

развернуть все

Используйте checkpoint метод, чтобы сохранить RDD в файл в директории контрольной точки.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% checkpoint
sc.setCheckpointDir('myDir')
myFile = sc.parallelize({1,2,3});
mapRDD = myFile.map(@(x)({x,1}));
mapRDD.checkpoint();

Смотрите также

| | |

Введенный в R2017b