exponenta event banner

getCheckpointFile

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Получение имени файла, в который устанавливается контрольная точка RDD

Синтаксис

file = getCheckpointFile(obj)

Описание

file = getCheckpointFile(obj) получает имя файла, к которому относится RDD obj имеет контрольную точку.

Входные аргументы

развернуть все

Входной RDD, указанный как RDD объект.

Выходные аргументы

развернуть все

Имя файла, для которого была установлена контрольная точка RDD, возвращаемое в виде символьного вектора.

Примеры

развернуть все

Получение имени файла, в который была поставлена контрольная точка RDD.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% getCheckpointFile
sc.setCheckpointDir('myDir')  % set the checkpoint directory
x = sc.parallelize({1,2,3})
y = x.map(@(x)({x,1}));
y.checkpoint()  % tell spark to checkpoint the RDD
y.collect()
% need to call collect, so that spark actually materializes the RDD 
% and checkpoints to the myDir directory
y.getCheckpointFile()
Представлен в R2016b