Конфигурационный файл для создания развертываемого архива с использованием mcc Команда

При создании развертываемого архива с помощью mcc необходимо создать текстовый файл, содержащий следующую информацию:

Тип параметраОписание

mw.ds.out.type

Выход данных из Hadoop® mapreduce job

Опции:

  • keyvalue

  • tabulartext

mw.mapper

Имя MATLAB® функция map

mw.reducer

Имя функции сокращения MATLAB

mw.ds.in.format

Имя MAT-файла, содержащего datastore объект, представляющий формат данных, подлежащих обработке.

В большинстве случаев вы начнете с работы с небольшим выборочным набором данных, проживающим на локальной машине, которая является репрезентативной для фактического набора данных в кластере. Этот образец набора данных имеет ту же структуру и переменные, что и фактический набор данных в кластере. Создав объект datastore для набора данных, расположенного на локальном компьютере, вы делаете снимок этой структуры. Имея доступ к этому объекту datastore, задание Hadoop, выполняемое на кластере, будет знать, как получить доступ и обработать фактический набор данных, проживающий на HDFS™.

mw.ds.in.type

Входной тип данных в задание Hadoop mapreduce

Опции:

  • keyvalue

  • tabulartext

mw.ds.in.fullfile

Значение по умолчанию false

Пример файла строения

config.txt

mw.ds.out.type = keyvalue
mw.mapper = maxArrivalDelayMapper
mw.reducer = maxArrivalDelayReducer
mw.ds.in.format = infoAboutDataset.mat
mw.ds.in.type = tabulartext

Похожие темы