Документация

Роль функции сокращения в MapReduce

mapreduce требует как входную функцию карты, которая получает блоки данных и которая выводит промежуточные результаты, так и входную функцию сокращения, которая читает промежуточные результаты и приводит к конечному результату. Таким образом, нормально разбивать вычисление на две связанные части для карты и уменьшать функции для выполнения отдельно. Для примера, чтобы найти максимальное значение в наборе данных, функция map может найти максимальное значение в каждом блоке входных данных, и тогда функция reduce может найти одно максимальное значение среди всех промежуточных максимумов.

Этот рисунок показывает фазу Reduce mapreduce алгоритм.

Фаза Сокращения mapreduce алгоритм имеет следующие шаги:

Фаза Сокращения mapreduce алгоритм завершен, когда функция сокращения обрабатывает все уникальные промежуточные ключи и связанные с ними значения. Результат этой фазы mapreduce алгоритм (подобный фазе Map) является KeyValueStore объект, содержащий все последние пары "ключ-значение", добавленные функцией сокращения. После фазы Reduce, mapreduce вытаскивает пары "ключ-значение" из KeyValueStore и возвращает их в datastore (a KeyValueDatastore объект по умолчанию). Пары "ключ-значение" в выход datastore не находятся в сортированном порядке; они появляются в том же порядке, в котором они были добавлены функцией reduce.

Требования к функции сокращения

mapreduce автоматически вызывает функцию reduce для каждого уникального ключа в промежуточном KeyValueStore Объект функция сокращения должна удовлетворять определенным основным требованиям, чтобы запускаться правильно во время этих автоматических вызовов. Эти требования коллективно обеспечивают правильное перемещение данных через фазу сокращения mapreduce алгоритм.

Входы в функцию reduce intermKey, intermValIter, и outKVStore:

В дополнение к этим основным требованиям к функции reduce, пары "ключ-значение", добавленные функцией reduce, должны также удовлетворять этим условиям:

Выборка функций сокращения

Вот несколько иллюстративных функций сокращения, используемых в mapreduce примеры.

function maxArrivalDelayReducer(intermKey, intermValIter, outKVStore)
  % intermKey is 'PartialMaxArrivalDelay'. intermValIter is an iterator of
  % all values that has the key 'PartialMaxArrivalDelay'.
  maxVal = -Inf;
  while hasnext(intermValIter)
    maxVal = max(getnext(intermValIter), maxVal);
  end
  % The key-value pair added to outKVStore will become the output of mapreduce 
  add(outKVStore,'MaxArrivalDelay',maxVal);
end

function statsByGroupReducer(intermKey, intermValIter, outKVStore)
% Reducer function for the StatisticsByGroupMapReduceExample.

% Copyright 2014 The MathWorks, Inc.

n = [];
m = [];
v = [];
s = [];
k = [];

% get all sets of intermediate statistics
while hasnext(intermValIter)
    value = getnext(intermValIter);
    n = [n; value(1)];
    m = [m; value(2)];
    v = [v; value(3)];
    s = [s; value(4)];
    k = [k; value(5)];
end
% Note that this approach assumes the concatenated intermediate values fit
% in memory. Refer to the reducer function, covarianceReducer,  of the
% CovarianceMapReduceExample for an alternative pairwise reduction approach

% combine the intermediate results
count = sum(n);
meanVal = sum(n.*m)/count;
d = m - meanVal;
variance = (sum(n.*v) + sum(n.*d.^2))/count;
skewnessVal = (sum(n.*s) + sum(n.*d.*(3*v + d.^2)))./(count*variance^(1.5));
kurtosisVal = (sum(n.*k) + sum(n.*d.*(4*s + 6.*v.*d +d.^3)))./(count*variance^2);

outValue = struct('Count',count, 'Mean',meanVal, 'Variance',variance,...
                 'Skewness',skewnessVal, 'Kurtosis',kurtosisVal);

% add results to the output datastore
add(outKVStore,intermKey,outValue);