Программы MATLAB пакета для развертывания на кластерах Hadoop как программы MapReduce
Приложение Hadoop Compiler будет удалено в будущем релизе. Создать автономный MATLAB® Приложения MapReduce или развертываемые архивы от map и reduce функций MATLAB, используют mcc команда. Для получения дополнительной информации см. Вопросы совместимости.
Пакеты приложения Hadoop Compiler map и reduce функции MATLAB в развертываемый архив. Можно включить архив в Hadoop® задание mapreduce путем передачи его в качестве аргумента полезной нагрузки, чтобы работать представленный кластеру Hadoop.
Панель инструментов MATLAB: На вкладке Apps, под Application Deployment, кликают по значку приложения.
Командная строка MATLAB: Войти hadoopCompiler.
map function — файл картопостроителяФункция для картопостроителя в виде вектора символов.
reduce function — файл редуктораФункция для редуктора в виде вектора символов.
datastore file — файл, содержащий datastore, представляющий данные, которые будут обработаныФайл, содержащий datastore, представляющий данные, которые будут обработаны в виде вектора символов.
В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных в кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных в кластере. Путем создания datastore возражают против набора данных, находящегося на локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому объекту datastore задание Hadoop, выполняющееся в кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS™.
output types — формат выходаФормат выхода от задания mapreduce Hadoop в виде keyvalue или табличного текста.
additional configuration file content — дополнительное конфигурирование параметров, как Hadoop выполняет заданиеДополнительные параметры, чтобы сконфигурировать, как Hadoop выполняет задание в виде вектора символов. Для получения дополнительной информации смотрите Конфигурационный файл для Создания Развертываемого Архива Используя Команду MCC.
files required for your MapReduce job payload to run — файлы, которые должны быть включены со сгенерированными артефактамиФайлы, которые должны быть включены со сгенерированными артефактами в виде списка файлов.
Additional parameters passed to MCC — флаги, управляющие поведением компилятораФлаги, управляющие поведением компилятора в виде вектора символов.
testing files — папка, где файлы для тестирования хранятсяПапка, где файлы для тестирования хранятся в виде вектора символов.
packaged files — папка, где сгенерированные артефакты хранятсяПапка, где сгенерированные артефакты хранятся в виде вектора символов.