Запишите картопостроитель и функции редуктора в MATLAB®.
Создайте MAT-файл, который содержит datastore, который описывает структуру данных и имена переменных, чтобы анализировать. Datastore в MAT-файле может быть создан из набора тестовых данных, который является представительным для фактического набора данных.
Создайте текстовый файл, который содержит настройки Hadoop®, такие как имя картопостроителя, редуктора и типа анализируемых данных. Этот файл автоматически создается, если вы используете приложение Hadoop Compiler.
Используйте приложение Hadoop Compiler или команду mcc, чтобы группировать компоненты в развертываемый архив. Обе опции генерируют развертываемый архив (.ctf файл), который может быть включен в задание mapreduce Hadoop.
Включите развертываемый архив в задание mapreduce Hadoop с помощью команды hadoop и синтаксиса.
Подпись выполнения
Ключ
| Буква | Описание |
|---|---|
| A | Команда Hadoop |
| B | Опция JAR |
| C | Стандартное имя файла JAR. Все приложения имеют тот же JAR: mwmapreduce.jar.The путь к JAR также фиксируется относительно местоположения MATLAB Runtime. |
| D | Стандартное имя драйвера. Все приложения имеют то же имя драйвера: MWMapReduceDriver |
| E | Типичная опция, задающая местоположение MATLAB Runtime как пара "ключ-значение". |
| F | Развертываемый архив (файл .ctf) сгенерированный приложением Hadoop Compiler или mcc передается в качестве аргумента полезной нагрузки заданию. |
| G | Местоположение входных файлов на HDFS™. |
| H | Местоположение на HDFS, где выведенный может быть записан. |
Чтобы упростить включение развертываемого архива (файл .ctf ) в задание mapreduce Hadoop, и приложение Hadoop Compiler и команда mcc генерируют сценарий оболочки вместе с развертываемым архивом. Сценарий оболочки имеет следующее соглашение о присвоении имен: run_<deployableArchiveName>.sh
Чтобы запустить развертываемый архив с помощью сценария оболочки, используйте следующий синтаксис:
