Функции отображения и редуктора записи в MATLAB ®.
Создайте MAT-файл, содержащий хранилище данных, описывающее структуру данных и имена анализируемых переменных. Хранилище данных в MAT-файле может быть создано из тестового набора данных, который представляет фактический набор данных.
Создайте текстовый файл, содержащий параметры Hadoop ®, такие как имя сопоставителя, редуктора и тип анализируемых данных. Этот файл создается автоматически при использовании приложения компилятора Hadoop.
Используйте приложение компилятора Hadoop или mcc для упаковки компонентов в развертываемый архив. Оба варианта генерируют развертываемый архив (файл .ctf), который может быть включен в задание восстановления карты Hadoop.
Включение развертываемого архива в задание восстановления карты Hadoop с помощью hadoop команда и синтаксис.
Подпись исполнения
Ключ
| Письмо | Описание |
|---|---|
| A | Команда Hadoop |
| B | Опция JAR |
| C | Стандартное имя файла JAR. Все приложения имеют одинаковый JAR: mwmapreduce.jar. Путь к JAR также фиксирован относительно местоположения среды выполнения MATLAB. |
| D | Стандартное имя драйвера. Все приложения имеют одинаковое имя драйвера: MWMapReduceDriver |
| E | Общая опция, определяющая расположение среды выполнения MATLAB как пару ключ-значение. |
| F | Развертываемый архив (.ctf файл), сгенерированный приложением компилятора Hadoop, или mcc передается заданию в качестве аргумента полезной нагрузки. |
| G | Расположение входных файлов на HDFS™. |
| H | Расположение на HDFS, где можно записать выходные данные. |
Чтобы упростить включение развертываемого архива (.ctf файл) в задание сокращения отображения Hadoop, как приложение компилятора Hadoop, так и mcc создать сценарий оболочки вместе с развертываемым архивом. Сценарий оболочки имеет следующее соглашение об именовании: run_<deployableArchiveName>.sh
Чтобы запустить развертываемый архив с помощью сценария оболочки, используйте следующий синтаксис:
