Документация

Установите соответствующую переменную окружения на местоположение, где Hadoop установлен. В этом случае установите MATLAB_HADOOP_INSTALL переменная окружения.

setenv('MATLAB_HADOOP_INSTALL','/mypath/hadoop-folder')

hadoop-folder папка, где Hadoop установлен и mypath путь к той папке.

Создайте datastore из файла примера, mapredout.seq, использование datastore функция. Файл примера содержит коды несущей авиакомпании представления уникальных ключей и соответствующие значения, которые представляют количество рейсов, выполненных той несущей.

ds = datastore('mapredout.seq')

ds = 
  KeyValueDatastore with properties:

       Files: {
              ' ...\matlab\toolbox\matlab\demos\mapredout.seq'
              }
    ReadSize: 1 key-value pairs
    FileType: 'seq'

datastore возвращает KeyValueDatastore. datastore функция автоматически определяет соответствующий тип datastore, чтобы создать.

Установите ReadSize свойство к шесть так, чтобы каждый вызов read чтения самое большее шесть пар "ключ-значение".

ds.ReadSize = 6;

Считайте подмножества данных из ds использование read функция в while цикл. Для каждого подмножества данных вычислите сумму значений. Сохраните сумму для каждого подмножества в массиве под названием sums. while цикл выполняется до hasdata(ds) возвращает false.

sums = [];
while hasdata(ds)
    T = read(ds);
    T.Value = cell2mat(T.Value);
    sums(end+1) = sum(T.Value);
end

Просмотрите последнее подмножество чтения пар "ключ-значение".

T

T = 

      Key       Value
    ________    _____

    'WN'        15931
    'XE'         2357
    'YV'          849
    'ML (1)'       69
    'PA (1)'      318

Вычислите общее количество рейсов, выполненных всеми несущими.

numflights = sum(sums)

numflights =

      123523