Программы MATLAB пакета для развертывания на кластерах Hadoop как программы MapReduce
Пакеты приложения Hadoop Compiler map и reduce функции MATLAB® в развертываемый архив. Можно включить архив в задание mapreduce Hadoop® путем передачи его в качестве аргумента полезной нагрузки, чтобы работать представленный кластеру Hadoop.
Панель инструментов MATLAB: На вкладке Apps, под Application Deployment, кликают по значку приложения.
Командная строка MATLAB: Введите hadoopCompiler.
map function — файл картопостроителяФункция для картопостроителя, заданного как вектор символов.
reduce function — файл редуктораФункция для редуктора, заданного как вектор символов.
datastore file — файл, содержащий datastore, представляющий данные, которые будут обработаныФайл, содержащий datastore, представляющий данные, которые будут обработаны, задал как вектор символов.
В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных на кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных на кластере. Путем создания datastore возражают против набора данных, находящегося на локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому объекту datastore задание Hadoop, выполняющееся на кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS™.
output types — формат выходаФормат выхода от задания mapreduce Hadoop, заданного как keyvalue или табличный текст.
additional configuration file content — дополнительное конфигурирование параметров, как Hadoop выполняет заданиеДополнительные параметры, чтобы сконфигурировать, как Hadoop выполняет задание, заданное как вектор символов. Для получения дополнительной информации смотрите Конфигурационный файл для Создания Развертываемого Архива Используя Команду MCC.
files required for your MapReduce job payload to run — файлы, которые должны быть включены со сгенерированными артефактамиФайлы, которые должны быть включены со сгенерированными артефактами, задали как список файлов.
Additional parameters passed to MCC — флаги, управляющие поведением компилятораФлаги, управляющие поведением компилятора, заданного как вектор символов.
testing files — папка, где файлы для тестирования хранятсяПапка, где файлы для тестирования хранятся, заданные как вектор символов.
packaged files — папка, где сгенерированные артефакты хранятсяПапка, где сгенерированные артефакты хранятся, заданные как вектор символов.