exponenta event banner

getDefaultReducePartitions

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Получение количества разделов сокращения по умолчанию в RDD

Синтаксис

numPartitions = getDefaultReducePartitions(obj)

Описание

numPartitions = getDefaultReducePartitions(obj) получает количество сокращенных секций по умолчанию в obj.

Входные аргументы

развернуть все

Входной RDD, указанный как RDD объект

Выходные аргументы

развернуть все

Количество секций уменьшения по умолчанию во входном RDD, возвращаемое как скалярное значение.

Примеры

развернуть все

Получение количества разделов сокращения по умолчанию в RDD.

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% getDefaultReducePartitions
x = sc.parallelize({1,2,3});
y = x.map(@(x)({x,1}));
z1 = y.reduceByKey(@(a,b)(a+b));
z2 = y.reduceByKey(@(a,b)(a+b), 3);

z1.getDefaultReducePartitions() % ans is 1
z2.getDefaultReducePartitions() % ans is 3, as the 2nd argument to reduceByKey is the number of reduce partitions

См. также

| |

Представлен в R2016b