Рабочий процесс для включения карты MATLAB и сокращения функций в задание Hadoop

  1. Напишите функции mapper и reducer в MATLAB®.

  2. Создайте MAT-файл, содержащий datastore, который описывает структуру данных и имена переменных для анализа. datastore в MAT-файле может быть создан из тестовых данных набора, представляющего фактический набор данных.

  3. Создайте текстовый файл, содержащий Hadoop® такие настройки, как имя отображателя, редуктор и тип анализируемых данных. Этот файл создается автоматически, если вы используете приложение Hadoop Compiler.

  4. Используйте Hadoop Compiler приложение или mcc Команда для упаковки компонентов в развертываемый архив. Обе опции генерируют развертываемый архив (файл .ctf), который можно включить в задание mapreduce Hadoop.

  5. Включите развертываемый архив в задание mapreduce Hadoop с помощью hadoop команда и синтаксис.

    Подпись выполнения

    Ключ

    БукваОписание
    AКоманда Hadoop
    BОпция JAR
    CСтандартное имя файла JAR. Все приложения имеют одинаковый JAR: mwmapreduce.jar.Настройка пути к JAR также фиксируется относительно местоположения MATLAB Runtime.
    DСтандартное имя драйвера. Все приложения имеют одинаковое имя драйвера: MWMapReduceDriver
    EТиповая опция, задающая расположение MATLAB Runtime в виде пары "ключ-значение".
    FРазвертываемый архив (.ctf файл), сгенерированный приложением Hadoop Compiler или mcc передается как аргумент полезной нагрузки в задание.
    GРасположение файлов входа на HDFS™.
    HРасположение на HDFS, где можно записать вывод.

Упрощение включения развертываемого архива (.ctf файл) в задание mapreduce Hadoop, как приложение Hadoop Compiler, так и приложение mcc команда сгенерирует интерпретатор наряду с развертываемым архивом. У интерпретатор скрипта есть следующее соглашение об именовании: run_<deployableArchiveName>.sh

Чтобы запустить развертываемый архив с помощью скрипта интерпретатора, используйте следующий синтаксис:

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте