Документация

Запустите MATLAB и проверьте, что переменная окружения HADOOP_PREFIX была установлена. В командной строке введите:

>> getenv('HADOOP_PREFIX')

Если ans пуст, рассмотрите раздел Prerequisites выше, чтобы видеть, как можно установить переменную окружения HADOOP_PREFIX.

Создайте datastore к файлу airlinesmall.csv и сохраните его в файл .mat. Этот объект datastore предназначается, чтобы получить структуру вашего фактического набора данных на HDFS.

ds = datastore('airlinesmall.csv','TreatAsMissing','NA',...
     'SelectedVariableNames','ArrDelay','ReadSize',1000);

save('infoAboutDataset.mat','ds')

В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных на кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных на кластере. Путем создания объекта datastore к набору данных, находящемуся на локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому объекту datastore задание Hadoop, выполняющееся на кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS.

Создайте конфигурационный файл (config.txt), который задает входной тип данных, формат данных, заданных datastore, созданным на предыдущем шаге, выходном типе данных, имени функции карты, и имя уменьшает функцию.

mw.ds.in.type = tabulartext
mw.ds.in.format = infoAboutDataset.mat
mw.ds.out.type = keyvalue
mw.mapper = maxArrivalDelayMapper
mw.reducer = maxArrivalDelayReducer

Используйте команду mcc с флагом -m, чтобы создать развертываемый архив. Флаг -m создает стандартный исполняемый файл, который может быть запущен из командной строки. Однако команда mcc не может группировать результаты в инсталляторе. Команда должна быть введена как одна строка.

mcc -H -W 'hadoop:maxArrivalDelay,CONFIG:config.txt'
  maxArrivalDelayMapper.m maxArrivalDelayReducer.m
   -a infoAboutDataset.mat

Для получения дополнительной информации смотрите mcc.

MATLAB Compiler™ создает сценарий оболочки run_maxarrivaldelay.sh, развертываемый архив airlinesmall.ctf и файл журнала mccExcludedfiles.log.

1. Включите развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop от интерпретатора Linux с помощью следующей команды:

   $ hadoop \ jar /usr/local/MATLAB/MATLAB_Runtime/v96/toolbox/mlhadoop/jar/a2.2.0/mwmapreduce.jar \ com.mathworks.hadoop.MWMapReduceDriver \ -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v96 \ maxArrivalDelay.ctf \ hdfs://host:54310/user/<username>/datasets/airlinesmall.csv \ hdfs://host:54310/user/<username>/results

2. Поочередно, можно включить развертываемый архив, содержащий map и reduce функции MATLAB в задание mapreduce Hadoop с помощью сценария оболочки, сгенерированного приложением Hadoop Compiler. В Linux интерпретатор вводят следующую команду:

   $ ./run_maxArrivalDelay.sh \ /usr/local/MATLAB/MATLAB_Runtime/v96 \ -D mw.mcrroot=/usr/local/MATLAB/MATLAB_Runtime/v96 \ hdfs://host:54310/user/username/datasets/airlinesmall.csv \ hdfs://host:54310/user/<username>/results

Чтобы исследовать результаты, переключитесь на рабочий стол MATLAB и создайте datastore к результатам на HDFS. Можно затем просмотреть результаты с помощью метода read.

d = datastore('hdfs:///user/<username>/results/part*');
read(d)

ans = 

           Key           Value 
    _________________    ______

    'MaxArrivalDelay'    [1014]