Документация

Роль уменьшать функции в MapReduce

mapreduce требует и входной функции карты, которая получает фрагменты данных и того выходного промежуточного звена результаты, и вход уменьшает функцию, которая читает, промежуточное звено заканчивается и приводит к конечному результату. Таким образом нормально разбить вычисление в две связанных части для map и reduce функций, чтобы выполнить отдельно. Например, чтобы найти максимальное значение в наборе данных, функция карты может найти максимальное значение в каждом фрагменте входных данных, и затем уменьшать функция может найти одно максимальное значение среди всех промежуточных максимумов.

Эти данные показывают фазу Reduce алгоритма mapreduce.

Фаза Reduce алгоритма mapreduce имеет следующие шаги:

Фаза Reduce алгоритма mapreduce завершена когда уменьшать функциональные процессы все уникальные промежуточные ключи и их присваиваемые значения. Результатом этой фазы алгоритма mapreduce (подобный фазе Map) является объект KeyValueStore, содержащий все итоговые пары "ключ-значение", добавленные уменьшать функцией. После фазы Reduce mapreduce вытягивает пары "ключ-значение" от KeyValueStore и возвращает их в datastore (объект KeyValueDatastore по умолчанию). Пары "ключ-значение" в выходном datastore не находятся в отсортированном порядке; они появляются в том же порядке, как они были добавлены уменьшать функцией.

Требования для уменьшают функцию

mapreduce автоматически вызывает уменьшать функцию для каждого уникального ключа в промежуточном объекте KeyValueStore, таким образом, уменьшать функция должна удовлетворить определенные основные требования, чтобы запуститься правильно во время этих автоматических вызовов. Эти требования коллективно гарантируют соответствующее перемещение данных через фазу Reduce алгоритма mapreduce.

Входными параметрами к уменьшать функции является intermKey, intermValIter и outKVStore:

В дополнение к этим основным требованиям для уменьшать функции пары "ключ-значение", добавленные уменьшать функцией, должны также удовлетворить этим условиям:

Выборка уменьшает функции

Эти примеры содержат, некоторые уменьшают функции, используемые примерами mapreduce в папке toolbox/matlab/demos.

type maxArrivalDelayReducer.m

function maxArrivalDelayReducer(intermKey, intermValIter, outKVStore)
% Reducer function for the MaxMapreduceExample.

% Copyright 2014 The MathWorks, Inc.

% intermKey is 'PartialMaxArrivalDelay'. intermValIter is an iterator of
% all values that has the key 'PartialMaxArrivalDelay'.
maxVal = -inf;
while hasnext(intermValIter)
   maxVal = max(getnext(intermValIter), maxVal);
end
% The key-value pair added to outKVStore will become the output of mapreduce 
add(outKVStore,'MaxArrivalDelay',maxVal);

type statsByGroupReducer.m

function statsByGroupReducer(intermKey, intermValIter, outKVStore)
% Reducer function for the StatisticsByGroupMapReduceExample.

% Copyright 2014 The MathWorks, Inc.

n = [];
m = [];
v = [];
s = [];
k = [];

% get all sets of intermediate statistics
while hasnext(intermValIter)
    value = getnext(intermValIter);
    n = [n; value(1)];
    m = [m; value(2)];
    v = [v; value(3)];
    s = [s; value(4)];
    k = [k; value(5)];
end
% Note that this approach assumes the concatenated intermediate values fit
% in memory. Refer to the reducer function, covarianceReducer,  of the
% CovarianceMapReduceExample for an alternative pairwise reduction approach

% combine the intermediate results
count = sum(n);
meanVal = sum(n.*m)/count;
d = m - meanVal;
variance = (sum(n.*v) + sum(n.*d.^2))/count;
skewnessVal = (sum(n.*s) + sum(n.*d.*(3*v + d.^2)))./(count*variance^(1.5));
kurtosisVal = (sum(n.*k) + sum(n.*d.*(4*s + 6.*v.*d +d.^3)))./(count*variance^2);

outValue = struct('Count',count, 'Mean',meanVal, 'Variance',variance,...
                 'Skewness',skewnessVal, 'Kurtosis',kurtosisVal);

% add results to the output datastore
add(outKVStore,intermKey,outValue);