Напишите функции mapper и reducer в MATLAB®.
Создайте MAT-файл, содержащий datastore, который описывает структуру данных и имена переменных для анализа. datastore в MAT-файле может быть создан из тестовых данных набора, представляющего фактический набор данных.
Создайте текстовый файл, содержащий Hadoop® такие настройки, как имя отображателя, редуктор и тип анализируемых данных. Этот файл создается автоматически, если вы используете приложение Hadoop Compiler.
Используйте Hadoop Compiler приложение или mcc
Команда для упаковки компонентов в развертываемый архив. Обе опции генерируют развертываемый архив (файл .ctf), который можно включить в задание mapreduce Hadoop.
Включите развертываемый архив в задание mapreduce Hadoop с помощью hadoop
команда и синтаксис.
Подпись выполнения
Ключ
Буква | Описание |
---|---|
A | Команда Hadoop |
B | Опция JAR |
C | Стандартное имя файла JAR. Все приложения имеют одинаковый JAR: mwmapreduce.jar .Настройка пути к JAR также фиксируется относительно местоположения MATLAB Runtime. |
D | Стандартное имя драйвера. Все приложения имеют одинаковое имя драйвера: MWMapReduceDriver |
E | Типовая опция, задающая расположение MATLAB Runtime в виде пары "ключ-значение". |
F | Развертываемый архив (.ctf файл), сгенерированный приложением Hadoop Compiler или mcc передается как аргумент полезной нагрузки в задание. |
G | Расположение файлов входа на HDFS™. |
H | Расположение на HDFS, где можно записать вывод. |
Упрощение включения развертываемого архива (.ctf
файл) в задание mapreduce Hadoop, как приложение Hadoop Compiler, так и приложение mcc
команда сгенерирует интерпретатор наряду с развертываемым архивом. У интерпретатор скрипта есть следующее соглашение об именовании: run_<deployableArchiveName>.sh
Чтобы запустить развертываемый архив с помощью скрипта интерпретатора, используйте следующий синтаксис: