Документация

Запустите MATLAB и проверьте что HADOOP_PREFIX переменная окружения была установлена. В командной строке введите:

>> getenv('HADOOP_PREFIX')

Если ans пусто, рассмотрите раздел Prerequisites выше, чтобы видеть, как можно установить HADOOP_PREFIX переменная окружения.

Создание Datastore к файлу airlinesmall.csv и сохраните его в .mat файл. Этот datastore объект предназначается, чтобы получить структуру вашего фактического набора данных на HDFS.

ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
     'SelectedVariableNames','ArrDelay','ReadSize',1000);

save('infoAboutDataset.mat','ds')

В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных в кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных в кластере. Путем создания datastore возразите против набора данных, находящегося на вашей локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому datastore объект, задание Hadoop, выполняющееся в кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS.

Создайте конфигурационный файл (config.txt) это задает входной тип данных, формат данных, заданных datastore созданный на предыдущем шаге, выходной тип данных, имя функции карты и имя уменьшают функцию.

mw.ds.in.type = tabulartext
mw.ds.in.format = infoAboutDataset.mat
mw.ds.out.type = keyvalue
mw.mapper = maxArrivalDelayMapper
mw.reducer = maxArrivalDelayReducer

Используйте mcc команда с -m отметьте, чтобы создать развертываемый архив. -m флаг создает стандартный исполняемый файл, который может быть запущен из командной строки. Однако mcc команда не может группировать результаты в инсталляторе. Команда должна быть введена как одна строка.

mcc -H -W 'hadoop:maxArrivalDelay,CONFIG:config.txt'
  maxArrivalDelayMapper.m maxArrivalDelayReducer.m
   -a infoAboutDataset.mat

Для получения дополнительной информации смотрите mcc.

MATLAB Compiler™ создает сценарий оболочки run_maxarrivaldelay.sh, развертываемый архив airlinesmall.ctf, и файл журнала mccExcludedfiles.log.

1. Включите развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop от интерпретатора Linux используя следующую команду:

   $ hadoop \
   jar /usr/local/MATLAB/MATLAB_Runtime/v911/toolbox/mlhadoop/jar/a2.2.0/mwmapreduce.jar \
   com.mathworks.hadoop.MWMapReduceDriver \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v911 \
   maxArrivalDelay.ctf \
   hdfs://host:54310/user/<username>/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

2. Альтернативно, можно включить развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop с помощью сценария оболочки, сгенерированного приложением Hadoop Compiler. В Linux интерпретатор вводят следующую команду:

   $ ./run_maxArrivalDelay.sh \
   /usr/local/MATLAB/MATLAB_Runtime/v911 \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v911 \
   hdfs://host:54310/user/username/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

Чтобы исследовать результаты, переключитесь на рабочий стол MATLAB и создайте datastore к результатам на HDFS. Можно затем просмотреть результаты с помощью read метод.

d = datastore('hdfs:///user/<username>/results/part*');
read(d)

ans = 

           Key           Value 
    _________________    ______

    'MaxArrivalDelay'    [1014]