mapreduce требует и входной функции карты, которая получает блоки данных и то выходное промежуточное звено результаты, и вход уменьшает функцию, которая читает, промежуточное звено заканчивается и приводит к конечному результату. Таким образом нормально разбить вычисление в две связанных части для map и reduce функций, чтобы выполнить отдельно. Например, чтобы найти максимальное значение в наборе данных, функция карты может найти максимальное значение в каждом блоке входных данных, и затем уменьшать функция может найти одно максимальное значение среди всех промежуточных максимумов.
Этот рисунок показывает фазу Map mapreduce алгоритм.
Фаза Map mapreduce алгоритм имеет следующие шаги:
mapreduce читает один блок данных с помощью read функция на входном datastore, затем вызывает функцию карты, чтобы работать над блоком.
Функция карты затем работает над отдельным блоком данных и добавляет одну или несколько пар "ключ-значение" в промежуточный KeyValueStore объект с помощью add или addmulti функции.
mapreduce повторения этот процесс для каждого из блоков данных во входном datastore, так, чтобы общее количество вызовов функции карты было равно количеству блоков данных. ReadSize свойство datastore определяет количество блоков данных.
Фаза Map mapreduce алгоритм завершен когда процессы функции карты каждый из блоков данных во входном datastore. Результат этой фазы mapreduce алгоритмом является KeyValueStore объект, который содержит все пары "ключ-значение", добавленные функцией карты. После фазы Map, mapreduce готовится к фазе Reduce путем группировки всех значений в KeyValueStore объект уникальным ключом.
mapreduce автоматически вызывает функцию карты для каждого блока данных во входном datastore. Функция карты должна удовлетворить определенные основные требования, чтобы запуститься правильно во время этих автоматических вызовов. Эти требования коллективно гарантируют соответствующее перемещение данных через фазу Map mapreduce алгоритм.
Входными параметрами к функции карты является dataинформация, и intermKVStore:
data и info результат вызова read функция на входном datastore, который mapreduce выполняется автоматически перед каждым вызовом функции карты.
intermKVStore имя промежуточного KeyValueStore возразите, в который функция карты должна добавить пары "ключ-значение". add и addmulti функции используют это имя объекта, чтобы добавить пары "ключ-значение". Если функция карты не добавляет пар "ключ-значение" в intermKVStore объект, затем mapreduce не вызывает уменьшать функцию, и получившийся datastore пуст.
В дополнение к этим основным требованиям для функции карты пары "ключ-значение", добавленные функцией карты, должны также удовлетворить этим условиям:
Ключи должны быть числовыми скалярами, векторами символов или строками. Числовыми ключами не может быть NaN, комплексный, логический, или разреженный.
Все ключи, добавленные функцией карты, должны иметь тот же класс.
Значения могут быть любым объектом MATLAB®, включая все допустимые типы данных MATLAB.
Вышеупомянутые требования пары "ключ-значение" могут не согласиться при использовании других продуктов с mapreduce. См. документацию для соответствующего продукта, чтобы получить специфичные для продукта требования пары "ключ-значение".
Вот несколько иллюстративных функций карты, используемых в mapreduce примеры.
Функция карты, которая просто возвращается что mapreduce передачи в него называются единичным картопостроителем. Единичный картопостроитель полезен, чтобы использовать в своих интересах группировку значений уникальным ключом прежде, чем выполнить в вычислениях уменьшать функция. identityMapper файл картопостроителя является одним из картопостроителей, используемых в примере Высокий Тощий QR (TSQR) Матричная Факторизация Используя MapReduce.
function identityMapper(data, info, intermKVStore) % This mapper function simply copies the data and add them to the % intermKVStore as intermediate values. x = data.Value{:,:}; add(intermKVStore,'Identity', x); end
Одним из самых простых примеров неединичного картопостроителя является maxArrivalDelayMapper, который является картопостроителем для примера, Находят Максимальное значение с MapReduce. Для каждого фрагмента входных данных этот картопостроитель вычисляет максимальную задержку прибытия и добавляет пару "ключ-значение" в промежуточный KeyValueStore.
function maxArrivalDelayMapper (data, info, intermKVStore) partMax = max(data.ArrDelay); add(intermKVStore, 'PartialMaxArrivalDelay',partMax); end
Более усовершенствованным примером картопостроителя является statsByGroupMapper, который является картопостроителем для примера Вычисление сводной статистики Группы Используя MapReduce. Этот картопостроитель использует вложенную функцию, чтобы вычислить несколько статистических количеств (количество, среднее значение, отклонение, и так далее) для каждого фрагмента входных данных, и затем добавляет несколько пар "ключ-значение" в промежуточный KeyValueStore объект. Кроме того, этот картопостроитель использует четыре входных параметра, тогда как mapreduce только принимает функцию карты с тремя входными параметрами. Чтобы обойти это, передайте в дополнительном параметре с помощью анонимной функции во время вызова mapreduce, как обрисовано в общих чертах в примере.
function statsByGroupMapper(data, ~, intermKVStore, groupVarName) % Data is a n-by-3 table. Remove missing values first delays = data.ArrDelay; groups = data.(groupVarName); notNaN =~isnan(delays); groups = groups(notNaN); delays = delays(notNaN); % Find the unique group levels in this chunk [intermKeys,~,idx] = unique(groups, 'stable'); % Group delays by idx and apply @grpstatsfun function to each group intermVals = accumarray(idx,delays,size(intermKeys),@grpstatsfun); addmulti(intermKVStore,intermKeys,intermVals); function out = grpstatsfun(x) n = length(x); % count m = sum(x)/n; % mean v = sum((x-m).^2)/n; % variance s = sum((x-m).^3)/n; % skewness without normalization k = sum((x-m).^4)/n; % kurtosis without normalization out = {[n, m, v, s, k]}; end end
Для получения дополнительной информации об общих шаблонах программирования в карте или уменьшайте функции, смотрите Сборку Эффективные Алгоритмы с MapReduce.
add | addmulti | mapreduce | tabularTextDatastore
