saveAsTallDatastore

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Сохраните RDD как длинный массив MATLAB к двоичному файлу, который может быть считан назад с помощью datastore функция

расширьте все на странице

Синтаксис

saveAsMatlabBinaryFile(obj,path)

Описание

saveAsMatlabBinaryFile(obj,path) сохраняет obj как длинный массив MATLAB® в двоичном файле, который может быть считан назад с помощью datastore функция. path задает местоположение директории, в котором можно сохранить двоичный файл.

Входные параметры

развернуть все

Вход RDD в виде RDD объект.

Местоположение директории, в котором можно сохранить двоичный файл в виде вектора символов, заключенного в ''.

Типы данных: char

Примеры

развернуть все

Сохраните RDD как длинный массив MATLAB к двоичному файлу, который может быть считан назад с помощью datastore функция.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% saveAsTallDatastore 

% May require setting HADOOP_PREFIX or HADOOP_HOME environment variables to a
% valid Hadoop installation folder even if running locally.
% For example:
% setenv('HADOOP_PREFIX','/share/hadoop/hadoop-2.5.2')

inRDD = sc.parallelize({1,2,3,4,5});
% Store RDD in a file as a tall array that can be read back into MATLAB using datastore
inRDD.saveAsTallDatastore('myDir'); 
ds = datastore(['myDir' '/part*'], 'Type', 'tall');
ds.readall()

Смотрите также

| | |

Введенный в R2017b

Документация MATLAB Compiler
Поддержка
Для просмотра документации необходимо авторизоваться на сайте