Exponenta Banner
exponenta event banner

textFile

Класс: matlab.compiler.mlspark.SparkContext
Пакет: matlab.compiler.mlspark

Создание RDD из текстового файла

развернуть все на странице

Синтаксис

rdd = textFile(sc,pathToFile)
rdd = textFile(sc,pathToFile,minPartitions)

Описание

rdd = textFile(sc,pathToFile) создает RDD из текстового файла, расположенного в pathToFile.

rdd = textFile(sc,pathToFile,minPartitions) создает RDD с минимальными разделами, указанными minPartitions.

Входные аргументы

развернуть все

Используемый SparkContext, указанный как SparkContext объект.

Путь к текстовому файлу, указанный как символьный вектор, заключенный в ''.

Типы данных: char | string

Минимальное число создаваемых разделов, указанных как скаляр.

Типы данных: double

Выходные аргументы

развернуть все

Выходной RDD, созданный при чтении в текстовом файле, возвращаемый как RDD объект.

Примеры

развернуть все

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% textFile
rdd = sc.textFile('/<matlabroot>/toolbox/matlab/demos/airlinesmall.csv')
Представлен в R2016b

Документация по компилятору MATLAB

Поддержка