aggregateByKey

Класс: matlab.compiler.mlspark.RDD
Пакет: matlab.compiler.mlspark

Агрегируйте значения каждого ключа, с помощью данный функции объединения и нейтральное “нулевое значение”

Синтаксис

result = aggregateByKey(obj,zeroValue,seqFunc,combFunc,numPartitions)

Описание

result = aggregateByKey(obj,zeroValue,seqFunc,combFunc,numPartitions) агрегировал значения каждого ключа, с помощью данный функции объединения, заданные seqFunc и combFunc, и нейтральное “нулевое значение” задано zeroValue. Входной параметр numPartitions является дополнительным.

Входные параметры

развернуть все

`obj` — Введите RDD
`RDD` объект

Вход RDD в виде RDD объект.

`zeroValue` — Нейтральное “нулевое значение”
массив ячеек чисел

Нейтральное “нулевое значение” в виде массива ячеек чисел.

Типы данных: cell

`seqFunc` — Функция, чтобы агрегировать значения каждого ключа
указатель на функцию

Функция, которая агрегировала значения каждого ключа в виде указателя на функцию.

Типы данных: function_handle

`combFunc` — Функция к итоговым результатам seqFunc
указатель на функцию

Функция к итоговым результатам seqFuncВ виде указателя на функцию.

Типы данных: function_handle

`numPartitions` — Количество разделов, чтобы создать
скалярное значение

Количество разделов, чтобы создать в виде скалярного значения. Этот аргумент является дополнительным.

Типы данных: double

Выходные аргументы

развернуть все

`result` — RDD, содержащий элементы, агрегированные ключом
`RDD` объект

RDD, содержащий элементы, агрегированные ключом, возвращенным как RDD объект.

Примеры

развернуть все

Агрегируйте значения каждого ключа

%% Connect to Spark
sparkProp = containers.Map({'spark.executor.cores'}, {'1'});
conf = matlab.compiler.mlspark.SparkConf('AppName','myApp', ...
                        'Master','local[1]','SparkProperties',sparkProp);
sc = matlab.compiler.mlspark.SparkContext(conf);

%% aggregateByKey
x = sc.parallelize({'a','b','c','d'},4);
y = x.map(@(x)({x,1}));
z = y.aggregateByKey(10,@(x,y)(x+y),@(x,y)(x+y));
viewRes = z.collect()  % { {'d',11},{'a',11},{'b',11},{'c',11}}

Введенный в R2017b

Документация

aggregateByKey

Синтаксис

Описание

Входные параметры

`obj` — Введите RDD
`RDD` объект

`zeroValue` — Нейтральное “нулевое значение”
массив ячеек чисел

`seqFunc` — Функция, чтобы агрегировать значения каждого ключа
указатель на функцию

`combFunc` — Функция к итоговым результатам seqFunc
указатель на функцию

`numPartitions` — Количество разделов, чтобы создать
скалярное значение

Выходные аргументы

`result` — RDD, содержащий элементы, агрегированные ключом
`RDD` объект

Примеры

Агрегируйте значения каждого ключа

Смотрите также

Документация MATLAB Compiler

Поддержка

Документация

aggregateByKey

Синтаксис

Описание

Входные параметры

obj — Введите RDD RDD объект

zeroValue — Нейтральное “нулевое значение” массив ячеек чисел

seqFunc — Функция, чтобы агрегировать значения каждого ключа указатель на функцию

combFunc — Функция к итоговым результатам seqFunc указатель на функцию

numPartitions — Количество разделов, чтобы создать скалярное значение

Выходные аргументы

result — RDD, содержащий элементы, агрегированные ключом RDD объект

Примеры

Агрегируйте значения каждого ключа

Смотрите также

Документация MATLAB Compiler

Поддержка

`obj` — Введите RDD
`RDD` объект

`zeroValue` — Нейтральное “нулевое значение”
массив ячеек чисел

`seqFunc` — Функция, чтобы агрегировать значения каждого ключа
указатель на функцию

`combFunc` — Функция к итоговым результатам seqFunc
указатель на функцию

`numPartitions` — Количество разделов, чтобы создать
скалярное значение

`result` — RDD, содержащий элементы, агрегированные ключом
`RDD` объект