Документация

Запустите MATLAB и проверьте что HADOOP_PREFIX переменная окружения была установлена. В командной строке введите:

>> getenv('HADOOP_PREFIX')

Если ans пусто, рассмотрите раздел Prerequisites выше, чтобы видеть, как можно установить HADOOP_PREFIX переменная окружения.

Создание Datastore к файлу airlinesmall.csv и сохраните его в .mat файл. Этот datastore объект предназначается, чтобы получить структуру вашего фактического набора данных на HDFS.

ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
     'SelectedVariableNames','ArrDelay','ReadSize',1000);

save('infoAboutDataset.mat','ds')

В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных на кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных на кластере. Путем создания datastore возразите против набора данных, находящегося на вашей локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому datastore объект, задание Hadoop, выполняющееся на кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS.

Создайте конфигурационный файл (config.txt) это задает входной тип данных, формат данных, заданных datastore созданный на предыдущем шаге, выходной тип данных, имя функции карты и имя уменьшают функцию.

mw.ds.in.type = tabulartext
mw.ds.in.format = infoAboutDataset.mat
mw.ds.out.type = keyvalue
mw.mapper = maxArrivalDelayMapper
mw.reducer = maxArrivalDelayReducer

Используйте mcc команда с -m отметьте, чтобы создать развертываемый архив. -m флаг создает стандартный исполняемый файл, который может быть запущен из командной строки. Однако mcc команда не может группировать результаты в инсталляторе. Команда должна быть введена как одна строка.

mcc -H -W 'hadoop:maxArrivalDelay,CONFIG:config.txt'
  maxArrivalDelayMapper.m maxArrivalDelayReducer.m
   -a infoAboutDataset.mat

Для получения дополнительной информации смотрите mcc.

MATLAB Compiler™ создает сценарий оболочки run_maxarrivaldelay.sh, развертываемый архив airlinesmall.ctf, и файл журнала mccExcludedfiles.log.

1. Включите развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop от интерпретатора Linux используя следующую команду:

   $ hadoop \
   jar /usr/local/MATLAB/MATLAB_Runtime/v99/toolbox/mlhadoop/jar/a2.2.0/mwmapreduce.jar \
   com.mathworks.hadoop.MWMapReduceDriver \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v99 \
   maxArrivalDelay.ctf \
   hdfs://host:54310/user/<username>/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

2. Альтернативно, можно включить развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop с помощью сценария оболочки, сгенерированного приложением Hadoop Compiler. В Linux интерпретатор вводят следующую команду:

   $ ./run_maxArrivalDelay.sh \
   /usr/local/MATLAB/MATLAB_Runtime/v99 \
   -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v99 \
   hdfs://host:54310/user/username/datasets/airlinesmall.csv \
   hdfs://host:54310/user/<username>/results

Чтобы исследовать результаты, переключитесь на рабочий стол MATLAB и создайте datastore к результатам на HDFS. Можно затем просмотреть результаты с помощью read метод.

d = datastore('hdfs:///user/<username>/results/part*');
read(d)

ans = 

           Key           Value 
    _________________    ______

    'MaxArrivalDelay'    [1014]