Exponenta Banner
exponenta event banner

matlab.mapreduce.DeployHadoopMapReducer класс

Пакет: matlab.mapreducy

Настройка приложения MapReduce для развертывания в Hadoop

развернуть все на странице

Описание

A DeployHadoopMapReducer объект представляет выполнение MapReduce в кластере Hadoop ® с помощью среды выполнения MATLAB ®.

Строительство

config = matlab.mapreduce.DeployHadoopMapReducer создает matlab.mapreduce.DeployHadoopMapReducer объект, задающий свойства по умолчанию для выполнения Hadoop.

Использовать результирующий объект в качестве входных данных для mapreducer для указания свойств конфигурации для выполнения Hadoop. Для развертывания автономного приложения передайте matlab.mapreduce.DeployHadoopMapReducer объект как вход в mapreduce.

config = matlab.mapreduce.DeployHadoopMapReducer(Name,Value) создает matlab.mapreduce.DeployHadoopMapReducer объект со свойствами, заданными одним или несколькими аргументами пары имя-значение.

Входные аргументы

развернуть все

Аргументы пары «имя-значение»

Укажите дополнительные пары, разделенные запятыми Name,Value аргументы. Name является именем аргумента и Value - соответствующее значение. Name должен отображаться внутри кавычек. Можно указать несколько аргументов пары имен и значений в любом порядке как Name1,Value1,...,NameN,ValueN.

Путь к установке Hadoop, указанный как разделенная запятыми пара, состоящая из HadoopInstallFolder и вектор символов или строковый скаляр.

Значение по умолчанию для папки установки Hadoop определяется переменными среды в порядке очередности MATLAB_HADOOP_INSTALL, HADOOP_PREFIX, и HADOOP_HOME.

Путь к файлам конфигурации приложения Hadoop, указанным как пара, разделенная запятыми, состоящая из HadoopConfigurationFile и вектор символов или строковый скаляр.

Папка установки среды выполнения MATLAB для кластера Hadoop, указанная как разделенная запятыми пара, состоящая из MCRRoot и вектор символов или строковый скаляр.

MCRRoot указывает папку установки среды выполнения MATLAB, используемую Hadoop при выполнении mapreduce задачи в Hadoop.

Пример: 'MCRRoot','/hd-shared/hadoop-2.2.0/MCR/v84'

A containers.Map объект пар «имя-значение», задающих свойства конфигурации Hadoop для конкретного задания или приложения. Пары имя-значение должны быть указаны как векторы символов.

Свойства, указанные в containers.Map передаются как [GENERIC_OPTION], состоящие из пар имя-значение, сигнализируемых -D флаг к hadoop команда оболочки.

Пример:

setenv('HADOOP_PREFIX', '/usr/lib/hadoop') % replace with your Hadoop install location
name = {'mapreduce.map.maxattempts','mapreduce.job.reduces'};
value = {'2','1'};
prop = containers.Map(name,value);
obj = matlab.mapreduce.DeployHadoopMapReducer('HadoopProperties', prop)

Примеры

свернуть все

Создание и использование matlab.mapreduce.DeployHadoopMapReducer объект для развертывания в автономном приложении и развертывания в Hadoop.

config = matlab.mapreduce.DeployHadoopMapReducer('MCRRoot',...
    '/hd-shared/hadoop-2.2.0/MCR/v84');
mr = mapreducer(config);

См. также

|

Темы

Документация по компилятору MATLAB

Поддержка