Exponenta Banner

textFile

Класс: matlab.compiler.mlspark.SparkContext
Пакет: matlab.compiler.mlspark

Создайте RDD из текстового файла

расширьте все на странице

Синтаксис

rdd = textFile(sc,pathToFile)
rdd = textFile(sc,pathToFile,minPartitions)

Описание

rdd = textFile(sc,pathToFile) создает RDD из текстового файла, расположенного в pathToFile.

rdd = textFile(sc,pathToFile,minPartitions) создает RDD с минимальными разделами, заданными minPartitions.

Входные параметры

развернуть все

SparkContext, чтобы использовать в виде SparkContext объект.

Путь к файлу к текстовому файлу в виде вектора символов заключен в ''.

Типы данных: char | string

Минимальное количество разделов, которые будут созданы в виде скаляра.

Типы данных: double

Выходные аргументы

развернуть все

Выход RDD, созданный из чтения в текстовом файле, возвращенном как RDD объект.

Примеры

развернуть все

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% textFile
rdd = sc.textFile('/<matlabroot>/toolbox/matlab/demos/airlinesmall.csv')

Введенный в R2017b

Документация MATLAB Compiler
Поддержка