getNumPartitions

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Возвратите количество разделов в RDD

Синтаксис

numPartitions = getNumPartitions(obj)

Описание

numPartitions = getNumPartitions(obj) возвращает количество разделов в obj.

Входные параметры

развернуть все

Вход RDD, заданный как RDD объект.

Выходные аргументы

развернуть все

Количество разделов во входе RDD, возвращенном как скалярное значение.

Примеры

развернуть все

Используйте getNumPartitions метод, чтобы возвратить количество разделов в RDD.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% getNumPartitions
inputRDD = sc.parallelize({'A','B','C','A','B'},2);
redRDD= inputRDD.map(@(x)({x,1})).reduceByKey(@(x,y)(x+y),3);
coaRDD = redRDD.coalesce(2); % {{{'B',2}},{{'C',1},{'A',2}}}*
disp(['Number of Partitions: ' num2str(coaRDD.getNumPartitions())]);

Смотрите также

| | |

Введенный в R2017b