Exponenta Banner

textFile

Класс: matlab.compiler.mlspark.SparkContext
Пакет: matlab.compiler.mlspark

Создайте RDD из текстового файла

развернуть все на странице

Синтаксис

rdd = textFile(sc,pathToFile)
rdd = textFile(sc,pathToFile,minPartitions)

Описание

rdd = textFile(sc,pathToFile) создает RDD из текстового файла, расположенного в pathToFile.

rdd = textFile(sc,pathToFile,minPartitions) создает RDD с минимальными разделами, заданными minPartitions.

Входные параметры

расширить все

Используемый SparkContext, заданный как SparkContext объект.

Путь файла к текстовому файлу, заданный как вектор символов, заключенный в ''.

Типы данных: char | string

Минимальное количество создаваемых разделов, заданное как скаляр.

Типы данных: double

Выходные аргументы

расширить все

Выход RDD, созданный из чтения в текстовом файле, возвращенный как RDD объект.

Примеры

расширить все

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% textFile
rdd = sc.textFile('/<matlabroot>/toolbox/matlab/demos/airlinesmall.csv')
Введенный в R2016b

Документация MATLAB Compiler

Поддержка