aggregate

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Агрегируйте элементы каждого раздела и впоследствии результатов для всех разделов в одно значение

Синтаксис

result = aggregate(obj,zeroValue,seqOp,combOp)

Описание

result = aggregate(obj,zeroValue,seqOp,combOp) агрегировал элементы в одно значение с помощью данный функции объединения, заданные seqOp и combOp, и нейтральное “нулевое значение” задано zeroValue.

Входные параметры

развернуть все

Вход RDD в виде RDD объект.

Нейтральное “нулевое значение” в виде массива ячеек чисел.

Типы данных: cell

Функция, чтобы агрегировать значения каждого ключа в виде указателя на функцию.

Типы данных: function_handle

Функция к итоговым результатам seqOpВ виде указателя на функцию.

Типы данных: function_handle

Выходные аргументы

развернуть все

RDD, содержащий агрегированные элементы, возвращенные как RDD объект.

Примеры

развернуть все

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% Aggregate
seqOp = @(x,y)({x{1} + y, x{2} + 1});
combOp = @(x,y)({x{1} + y{1}, x{2} + y{2}});
x = sc.parallelize({1, 2, 3, 4});
y = x.aggregate({0, 0}, seqOp, combOp) % {10,4}

Смотрите также

|

Введенный в R2017b