Документация

Запустите MATLAB и проверьте что HADOOP_PREFIX переменная окружения была установлена. В командной строке введите:

>> getenv('HADOOP_PREFIX')

Если ans пусто, рассмотрите раздел Prerequisites выше, чтобы видеть, как можно установить HADOOP_PREFIX переменная окружения.

Создание Datastore к файлу airlinesmall.csv и сохраните его в .mat файл. Этот datastore объект предназначается, чтобы получить структуру вашего фактического набора данных на HDFS.

ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
     'SelectedVariableNames','ArrDelay','ReadSize',1000);

save('infoAboutDataset.mat','ds')

В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных на кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных на кластере. Путем создания datastore возразите против набора данных, находящегося на вашей локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому datastore объект, задание Hadoop, выполняющееся на кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS.

Запустите приложение Hadoop Compiler через командную строку MATLAB (>> hadoopCompiler) или через галерею Apps.

В разделе Map Function панели инструментов щелкните плюс кнопка, чтобы добавить файл картопостроителя maxArrivalDelayMapper.m.

В разделе Reduce Function панели инструментов щелкните плюс кнопка, чтобы добавить файл редуктора maxArrivalDelayReducer.m.

В разделе Datastore File щелкните плюс кнопка, чтобы добавить .mat файл infoAboutDataset.mat содержа datastore объект.

В разделе Output Types выберите keyvalue как выходной тип. Выбор keyvalue когда ваш выходной тип означает, что ваши результаты могут только быть считаны в MATLAB. Если вы хотите свои результаты быть доступными за пределами MATLAB, выберите выходной тип как tabulartext.

Переименуйте MapReduce job payload information в maxArrivalDelay.

Нажмите Package, чтобы создать развертываемый архив.

Приложение Hadoop Compiler создает файл журнала PackagingLog.txt и две папки for_redistribution и for_testing.

Можно использовать файл журнала PackagingLog.txt видеть точный mcc синтаксис раньше группировал развертываемый архив.

Из Linux интерпретатор перешли к for_redistribution папка.

1. Включите развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop от интерпретатора Linux с помощью следующей команды:

   $ hadoop \
   jar /usr/local/MATLAB/MATLAB_Runtime/v98/toolbox/mlhadoop/jar/a2.2.0/mwmapreduce.jar \
   com.mathworks.hadoop.MWMapReduceDriver \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v98 \
   maxArrivalDelay.ctf \
   hdfs://host:54310/user/<username>/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

2. Поочередно, можно включить развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop с помощью сценария оболочки, сгенерированного приложением Hadoop Compiler. В Linux интерпретатор вводят следующую команду:

   $ ./run_maxArrivalDelay.sh \
   /usr/local/MATLAB/MATLAB_Runtime/v98 \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v98 \
   hdfs://host:54310/user/username/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

Чтобы исследовать результаты, переключитесь на рабочий стол MATLAB и создайте datastore к результатам на HDFS. Можно затем просмотреть результаты с помощью read метод.

d = datastore('hdfs:///user/<username>/results/part*');
read(d)

ans = 

           Key           Value 
    _________________    ______

    'MaxArrivalDelay'    [1014]