Документация

Роль функции сокращения в MapReduce

mapreduce требуется как входная функция отображения, которая принимает блоки данных и которая выводит промежуточные результаты, так и входная функция уменьшения, которая считывает промежуточные результаты и выдает окончательный результат. Таким образом, нормально разбивать вычисление на две связанные части для карты и уменьшать функции для выполнения отдельно. Например, чтобы найти максимальное значение в наборе данных, функция отображения может найти максимальное значение в каждом блоке входных данных, а затем функция уменьшения может найти единственное максимальное значение среди всех промежуточных максимумов.

На этом рисунке показана фаза сокращения mapreduce алгоритм.

Этап сокращения mapreduce алгоритм содержит следующие этапы:

Этап сокращения mapreduce алгоритм завершается, когда функция уменьшения обрабатывает все уникальные промежуточные ключи и связанные с ними значения. Результат этой фазы mapreduce алгоритм (аналогичный фазе Map) KeyValueStore объект, содержащий все конечные пары ключ-значение, добавленные функцией уменьшения. После этапа сокращения mapreduce извлекает пары ключ-значение из KeyValueStore и возвращает их в хранилище данных (a KeyValueDatastore по умолчанию). Пары ключ-значение в хранилище выходных данных не отсортированы; они отображаются в том же порядке, что и добавленные функцией уменьшения.

Требования к уменьшению функции

mapreduce автоматически вызывает функцию уменьшения для каждого уникального ключа в промежуточном KeyValueStore object, поэтому функция уменьшения должна соответствовать определенным основным требованиям для правильной работы во время этих автоматических вызовов. Эти требования в совокупности обеспечивают надлежащее перемещение данных на этапе сокращения mapreduce алгоритм.

Входами для функции уменьшения являются intermKey, intermValIter, и outKVStore:

В дополнение к этим основным требованиям для функции уменьшения пары «ключ-значение», добавляемые функцией уменьшения, также должны удовлетворять следующим условиям:

Пример сокращения функций

Вот несколько иллюстративных функций сокращения, используемых в mapreduce примеры.

function maxArrivalDelayReducer(intermKey, intermValIter, outKVStore)
  % intermKey is 'PartialMaxArrivalDelay'. intermValIter is an iterator of
  % all values that has the key 'PartialMaxArrivalDelay'.
  maxVal = -Inf;
  while hasnext(intermValIter)
    maxVal = max(getnext(intermValIter), maxVal);
  end
  % The key-value pair added to outKVStore will become the output of mapreduce 
  add(outKVStore,'MaxArrivalDelay',maxVal);
end

function statsByGroupReducer(intermKey, intermValIter, outKVStore)
% Reducer function for the StatisticsByGroupMapReduceExample.

% Copyright 2014 The MathWorks, Inc.

n = [];
m = [];
v = [];
s = [];
k = [];

% get all sets of intermediate statistics
while hasnext(intermValIter)
    value = getnext(intermValIter);
    n = [n; value(1)];
    m = [m; value(2)];
    v = [v; value(3)];
    s = [s; value(4)];
    k = [k; value(5)];
end
% Note that this approach assumes the concatenated intermediate values fit
% in memory. Refer to the reducer function, covarianceReducer,  of the
% CovarianceMapReduceExample for an alternative pairwise reduction approach

% combine the intermediate results
count = sum(n);
meanVal = sum(n.*m)/count;
d = m - meanVal;
variance = (sum(n.*v) + sum(n.*d.^2))/count;
skewnessVal = (sum(n.*s) + sum(n.*d.*(3*v + d.^2)))./(count*variance^(1.5));
kurtosisVal = (sum(n.*k) + sum(n.*d.*(4*s + 6.*v.*d +d.^3)))./(count*variance^2);

outValue = struct('Count',count, 'Mean',meanVal, 'Variance',variance,...
                 'Skewness',skewnessVal, 'Kurtosis',kurtosisVal);

% add results to the output datastore
add(outKVStore,intermKey,outValue);