getNumPartitions

Класс: matlab.compiler.mlspark. RDD
Пакет: matlab.compiler.mlspark

Возвратите количество разделов в RDD

Синтаксис

numPartitions = getNumPartitions(obj)

Описание

numPartitions = getNumPartitions(obj) возвращает количество разделов в obj.

Входные параметры

развернуть все

Вход RDD, заданный как объект RDD.

Выходные аргументы

развернуть все

Количество разделов во входе RDD, возвращенном как скалярное значение.

Примеры

развернуть все

Используйте метод getNumPartitions, чтобы возвратить количество разделов в RDD.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% getNumPartitions
inputRDD = sc.parallelize({'A','B','C','A','B'},2);
redRDD= inputRDD.map(@(x)({x,1})).reduceByKey(@(x,y)(x+y),3);
coaRDD = redRDD.coalesce(2); % {{{'B',2}},{{'C',1},{'A',2}}}*
disp(['Number of Partitions: ' num2str(coaRDD.getNumPartitions())]);

Введенный в R2017b