Рабочий процесс, чтобы включить map и reduce функции MATLAB в Хэдупа Джоба

  1. Запишите картопостроитель и функции редуктора в MATLAB®.

  2. Создайте MAT-файл, который содержит datastore, который описывает структуру данных и имена переменных, чтобы анализировать. Datastore в MAT-файле может быть создан из набора тестовых данных, который является представительным для фактического набора данных.

  3. Создайте текстовый файл, который содержит настройки Hadoop®, такие как имя картопостроителя, редуктора и типа анализируемых данных. Этот файл автоматически создается, если вы используете приложение Hadoop Compiler.

  4. Используйте приложение Hadoop Compiler или mcc команда, чтобы группировать компоненты в развертываемый архив. Обе опции генерируют развертываемый архив (.ctf файл), который может быть включен в задание mapreduce Hadoop.

  5. Включите развертываемый архив в задание mapreduce Hadoop с помощью hadoop команда и синтаксис.

    Подпись выполнения

    Ключ

    БукваОписание
    AКоманда Hadoop
    BОпция JAR
    CСтандартное имя файла JAR. Все приложения имеют тот же JAR: mwmapreduce.jarПуть к.The к JAR также фиксируется относительно местоположения MATLAB Runtime.
    DСтандартное имя драйвера. Все приложения имеют то же имя драйвера: MWMapReduceDriver
    EТиповая опция, задающая местоположение MATLAB Runtime как пара "ключ-значение".
    FРазвертываемый архив (.ctf файл) сгенерированный приложением Hadoop Compiler или mcc передается в качестве аргумента полезной нагрузки заданию.
    GМестоположение входных файлов на HDFS™.
    HМестоположение на HDFS, где выведенный может быть записан.

Упростить включение развертываемого архива (.ctf файл) в задание mapreduce Hadoop, и приложение Hadoop Compiler и mcc команда генерирует сценарий оболочки вместе с развертываемым архивом. Сценарий оболочки имеет следующее соглашение о присвоении имен: run_<deployableArchiveName>.sh

Чтобы запустить развертываемый архив с помощью сценария оболочки, используйте следующий синтаксис:

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте