Hadoop Compiler
Программы MATLAB пакета для развертывания на кластерах Hadoop как программы MapReduce
Описание
Пакеты приложения Hadoop Compiler map и reduce функции MATLAB® в развертываемый архив. Можно включить архив в задание mapreduce Hadoop® путем передачи его в качестве аргумента полезной нагрузки, чтобы работать представленный кластеру Hadoop.
Откройте приложение Hadoop Compiler
Панель инструментов MATLAB: На вкладке Apps, под Application Deployment, кликают по значку приложения.
Командная строка MATLAB: Введите
hadoopCompiler.
Параметры
map function — файл картопостроителя
символьный вектор
Функция для картопостроителя, заданного как вектор символов.
reduce function — файл редуктора
символьный вектор
Функция для редуктора, заданного как вектор символов.
datastore file — файл, содержащий datastore, представляющий данные, которые будут обработаны
символьный вектор
Файл, содержащий datastore, представляющий данные, которые будут обработаны, задал как вектор символов.
В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных на кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных на кластере. Путем создания datastore возражают против набора данных, находящегося на локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому объекту datastore задание Hadoop, выполняющееся на кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS™.
output types — формат выхода
keyvalue (значение по умолчанию) | tabulartext
Формат выхода от задания mapreduce Hadoop, заданного как keyvalue или табличный текст.
additional configuration file content — дополнительное конфигурирование параметров, как Hadoop выполняет задание
символьный вектор
Дополнительные параметры, чтобы сконфигурировать, как Hadoop выполняет задание, заданное как вектор символов. Для получения дополнительной информации смотрите Конфигурационный файл для Создания Развертываемого Архива Используя Команду MCC.
files required for your MapReduce job payload to run — файлы, которые должны быть включены со сгенерированными артефактами
список файлов
Файлы, которые должны быть включены со сгенерированными артефактами, задали как список файлов.
Настройки
Additional parameters passed to MCC — флаги, управляющие поведением компилятора
символьный вектор
Флаги, управляющие поведением компилятора, заданного как вектор символов.
testing files — папка, где файлы для тестирования хранятся
символьный вектор
Папка, где файлы для тестирования хранятся, заданные как вектор символов.
packaged files — папка, где сгенерированные артефакты хранятся
символьный вектор
Папка, где сгенерированные артефакты хранятся, заданные как вектор символов.