checkpoint

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Отметьте RDD для выгрузки

Синтаксис

checkpoint(obj)

Описание

checkpoint(obj) отмечает RDD для выгрузки.

Входные параметры

развернуть все

Вход RDD, который должен быть отмечен для выгрузки в виде RDD объект.

Примеры

развернуть все

Используйте checkpoint метод, чтобы сохранить RDD в файл в директории контрольной точки.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% checkpoint
sc.setCheckpointDir('myDir')
myFile = sc.parallelize({1,2,3});
mapRDD = myFile.map(@(x)({x,1}));
mapRDD.checkpoint();

Смотрите также

| | |

Введенный в R2017b