Hadoop Compiler

Программы MATLAB пакета для развертывания на кластерах Hadoop как программы MapReduce

Описание

Пакеты приложения Hadoop Compiler map и reduce функции MATLAB® в развертываемый архив. Можно включить архив в задание mapreduce Hadoop® путем передачи его в качестве аргумента полезной нагрузки, чтобы работать представленный кластеру Hadoop.

Откройте приложение Hadoop Compiler

  • Панель инструментов MATLAB: На вкладке Apps, под Application Deployment, кликают по значку приложения.

  • Подсказка команды MATLAB: Введите hadoopCompiler.

Параметры

развернуть все

Функция для картопостроителя, заданного как вектор символов.

Функция для редуктора, заданного как вектор символов.

Файл, содержащий datastore, представляющий данные, которые будут обработаны, задал как вектор символов.

В большинстве случаев вы начнетесь путем работы над набором данных небольшой выборки, находящимся на локальной машине, которая является представительной для фактического набора данных на кластере. Этот демонстрационный набор данных имеет ту же структуру и переменные как фактический набор данных на кластере. Путем создания datastore возражают против набора данных, находящегося на локальной машине, вы берете снимок состояния той структуры. При наличии доступа к этому объекту datastore задание Hadoop, выполняющееся на кластере, будет знать, как получить доступ и обработать фактический набор данных, находящийся на HDFS™.

Формат вывода от задания mapreduce Hadoop, заданного как keyvalue или табличный текст.

Дополнительные параметры, чтобы сконфигурировать, как Hadoop выполняет задание, заданное как вектор символов. Для получения дополнительной информации смотрите Конфигурационный файл для Создания Развертываемого Архива Используя Команду MCC.

Файлы, которые должны быть включены со сгенерированными артефактами, задали как список файлов.

Настройки

Флаги, управляющие поведением компилятора, заданного как вектор символов.

Папка, где файлы для тестирования хранятся, заданные как вектор символов.

Папка, где сгенерированные артефакты хранятся, заданные как вектор символов.

Программируемое использование

Введенный в R2014b