Exponenta Banner
exponenta event banner

saveAsKeyValueDatastore

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Сохранить значение ключа RDD как двоичный файл, который можно прочитать с помощью datastore функция

развернуть все на странице

Синтаксис

saveAsKeyValueDatastore(obj,path)

Описание

saveAsKeyValueDatastore(obj,path) сохранение входного значения ключа RDD obj как двоичный файл, который может быть прочитан с помощью datastore функция.

Входные аргументы

развернуть все

Входной RDD, указанный как RDD объект.

Папка, в которой должен быть сохранен двоичный файл, указанный как вектор символов, заключенный в ''.

Типы данных: char

Примеры

развернуть все

Сохраните RDD с ключевым значением как двоичный файл, который можно прочитать с помощью datastore функция.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% saveAsKeyValueDatastore

% May require setting HADOOP_PREFIX or HADOOP_HOME environment variables to a
% valid Hadoop installation folder even if running locally.
% For example:
% setenv('HADOOP_PREFIX','/share/hadoop/hadoop-2.5.2')

inRDD = sc.parallelize({1,2,3,4,5});
redRDD= inputRDD.map(@(x)({x,1})).reduceByKey(@(x,y)(x+y))
% Store RDD in a key-value binary file that can be read back into MATLAB using datastore
redRdd.saveAsKeyValueDatastore('myKVdir')

См. также

| | |

Представлен в R2016b

Документация по компилятору MATLAB

Поддержка