Документация

Запустите MATLAB и убедитесь, что HADOOP_PREFIX установлена переменная среды. В командной строке введите:

>> getenv('HADOOP_PREFIX')

Если ans пуст, просмотрите раздел Предварительные условия выше, чтобы узнать, как можно установить HADOOP_PREFIX переменная среды.

Создать datastore в файл airlinesmall.csv и сохраните его в .mat файл. Это datastore объект предназначен для захвата структуры фактического набора данных на HDFS.

ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
     'SelectedVariableNames','ArrDelay','ReadSize',1000);

save('infoAboutDataset.mat','ds')

В большинстве случаев вы начнете с работы с небольшим набором данных-образцов, находящимся на локальном компьютере, который представляет фактический набор данных в кластере. Этот образец набора данных имеет ту же структуру и переменные, что и фактический набор данных в кластере. Путем создания datastore объект для набора данных, находящегося на локальном компьютере, на котором выполняется снимок этой структуры. Имея доступ к этому datastore объект, задание Hadoop, выполняемое в кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся в HDFS.

Запустите приложение компилятора Hadoop с помощью командной строки MATLAB (>> hadoopCompiler) или через галерею приложений.

В разделе «Функция сопоставления» панели инструментов нажмите кнопку «плюс», чтобы добавить файл сопоставления. maxArrivalDelayMapper.m.

В разделе «Уменьшить функцию» панели инструментов нажмите кнопку «плюс», чтобы добавить файл редуктора. maxArrivalDelayReducer.m.

В разделе «Файл хранилища данных» нажмите кнопку «плюс», чтобы добавить .mat файл infoAboutDataset.mat содержащий datastore объект.

В разделе «Типы вывода» выберите keyvalue как тип вывода. Выбор keyvalue поскольку тип выходного документа означает, что результаты могут быть прочитаны только в MATLAB. Если необходимо, чтобы результаты были доступны вне MATLAB, выберите тип вывода как tabulartext.

Переименование информации полезной нагрузки задания MapReduce в maxArrivalDelay.

Щелкните Пакет, чтобы создать развертываемый архив.

Приложение компилятора Hadoop создает файл журнала PackagingLog.txt и две папки for_redistribution и for_testing.

Можно использовать файл журнала PackagingLog.txt чтобы увидеть точное mcc синтаксис, используемый для упаковки развертываемого архива.

Из оболочки Linux перейдите к for_redistribution папка.

1. Включите развертываемый архив, содержащий карту MATLAB, и сократите функции в задание восстановления карты Hadoop из оболочки Linux с помощью следующей команды:

   $ hadoop \
   jar /usr/local/MATLAB/MATLAB_Runtime/v910/toolbox/mlhadoop/jar/a2.2.0/mwmapreduce.jar \
   com.mathworks.hadoop.MWMapReduceDriver \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v910 \
   maxArrivalDelay.ctf \
   hdfs://host:54310/user/<username>/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

2. В качестве альтернативы, можно включить развертываемый архив, содержащий карту MATLAB, и сократить функции в задание сокращения Hadoop с помощью сценария оболочки, созданного приложением компилятора Hadoop. В оболочке Linux введите следующую команду:

   $ ./run_maxArrivalDelay.sh \
   /usr/local/MATLAB/MATLAB_Runtime/v910 \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v910 \
   hdfs://host:54310/user/username/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

Чтобы проверить результаты, переключитесь на рабочий стол MATLAB и создайте datastore к результатам на HDFS. Затем можно просмотреть результаты с помощью read способ.

d = datastore('hdfs:///user/<username>/results/part*');
read(d)

ans = 

           Key           Value 
    _________________    ______

    'MaxArrivalDelay'    [1014]