Hadoop Compiler
Программы MATLAB пакета для развертывания на кластерах Hadoop как программы MapReduce
Приложение Hadoop Compiler будет удалено в будущем релизе. Создать автономный MATLAB® Приложения MapReduce или развертываемые архивы от map и reduce функций MATLAB, используют mcc команда. Для получения дополнительной информации см. Вопросы совместимости.
Описание
Пакеты приложения Hadoop Compiler map и reduce функции MATLAB в развертываемый архив. Можно включить архив в Hadoop® задание mapreduce путем передачи его в качестве аргумента полезной нагрузки, чтобы работать представленный кластеру Hadoop.
Откройте приложение Hadoop Compiler
Панель инструментов MATLAB: На вкладке Apps, под Application Deployment, кликают по значку приложения.
Командная строка MATLAB: Войти
hadoopCompiler.
Параметры
map function — файл картопостроителя
символьный вектор
Функция для картопостроителя в виде вектора символов.
reduce function — файл редуктора
символьный вектор
Функция для редуктора в виде вектора символов.
datastore file — файл, содержащий datastore, представляющий данные, которые будут обработаны
символьный вектор
Файл, содержащий datastore, представляющий данные, которые будут обработаны в виде вектора символов.
В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных в кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных в кластере. Путем создания datastore возражают против набора данных, находящегося на локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому объекту datastore задание Hadoop, выполняющееся в кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS™.
output types — формат выхода
keyvalue (значение по умолчанию) | tabulartext
Формат выхода от задания mapreduce Hadoop в виде keyvalue или табличного текста.
additional configuration file content — дополнительное конфигурирование параметров, как Hadoop выполняет задание
символьный вектор
Дополнительные параметры, чтобы сконфигурировать, как Hadoop выполняет задание в виде вектора символов. Для получения дополнительной информации смотрите Конфигурационный файл для Создания Развертываемого Архива Используя Команду MCC.
files required for your MapReduce job payload to run — файлы, которые должны быть включены со сгенерированными артефактами
список файлов
Файлы, которые должны быть включены со сгенерированными артефактами в виде списка файлов.
Additional parameters passed to MCC — флаги, управляющие поведением компилятора
символьный вектор
Флаги, управляющие поведением компилятора в виде вектора символов.
testing files — папка, где файлы для тестирования хранятся
символьный вектор
Папка, где файлы для тестирования хранятся в виде вектора символов.
packaged files — папка, где сгенерированные артефакты хранятся
символьный вектор
Папка, где сгенерированные артефакты хранятся в виде вектора символов.