Пример при запуске автономного приложения MapReduce MATLAB
Поддерживаемая платформа: Linux® только.
Этот пример показывает вам, как создать автономное приложение MapReduce MATLAB® с помощью команды mcc и запустить ее против кластера Hadoop®.
Цель: Вычислите максимальную задержку прибытия авиакомпании от данного набора данных.
| Набор данных: | airlinesmall.csv |
| Описание: |
Отъезд авиакомпании и информация о прибытии от 1987-2008. |
| Местоположение : | /usr/local/MATLAB/R2019a/toolbox/matlab/demos |
Предпосылки
Запустите этот пример путем создания новой папки работы, которая видима к пути поиска файлов MATLAB.
Прежде чем стартовый MATLAB, на терминале, установил переменную окружения
HADOOP_PREFIXуказывать на папку установки Hadoop. Например:Shell Команда csh / tcsh % setenv HADOOP_PREFIX /usr/lib/hadoop
удар $ export HADOOP_PREFIX=/usr/lib/hadoop
Примечание
Этот пример использует
/usr/lib/hadoopв качестве директории, где Hadoop установлен. Ваша директория установки Hadoop, возможно, отличающаяся.Если вы забываете устанавливать переменную окружения
HADOOP_PREFIXдо стартового MATLAB, устанавливаете его использование функции MATLABsetenvв подсказке команды MATLAB, как только вы запускаете MATLAB. Например:setenv('HADOOP_PREFIX','/usr/lib/hadoop')
Установите MATLAB Runtime в папке, которая доступна каждым узлом рабочего в кластере Hadoop. Этот пример использует
/usr/local/MATLAB/MATLAB_Runtime/v96в качестве местоположения папки MATLAB Runtime.Если у вас нет MATLAB Runtime, можно загрузить его с веб-сайта в:
https://www.mathworks.com/products/compiler/mcr.Примечание
Для получения информации о номерах версий MATLAB Runtime соответствующие релизы MATLAB см. этот список.
Скопируйте функцию карты
maxArrivalDelayMapper.mот папки/usr/local/MATLAB/R2019a/toolbox/matlab/demosдо папки работы.Для получения дополнительной информации смотрите Запись Функция Карты (MATLAB).
Скопируйте уменьшать функциональный
maxArrivalDelayReducer.mотпапкиmatlabroot/toolbox/matlab/demosДля получения дополнительной информации смотрите Запись Уменьшать Функция (MATLAB).
Создайте директорию
/user/<username>/datasetsairlinesmall.csvв ту директорию. Здесь<username>$ ./hadoop fs -copyFromLocal airlinesmall.csv hdfs://host:54310/user/<username>/datasets
Процедура
Запустите MATLAB и проверьте, что переменная окружения
HADOOP_PREFIXбыла установлена. В командной строке введите:>> getenv('HADOOP_PREFIX')Если
ansпуст, рассмотрите раздел Prerequisites выше, чтобы видеть, как можно установить переменную окруженияHADOOP_PREFIX.Создайте новый скрипт MATLAB с именем
depMapRedStandAlone.m. Вы добавите код, перечисленный на шагах, описанных ниже к этому файлу скрипта.Создайте
datastore, который указывает на данные авиакомпании в Распределенной файловой системе Hadoop (HDFS).ds = datastore('hdfs:///user/username/datasets/airlinesmall.csv',... 'TreatAsMissing','NA',... 'SelectedVariableNames',{'UniqueCarrier','ArrDelay'});
Для получения дополнительной информации смотрите работу с Удаленными данными (MATLAB).
Сконфигурируйте приложение для развертывания против Hadoop с настройками по умолчанию.
config = matlab.mapreduce.DeployHadoopMapReducer;
matlab.mapreduce.DeployHadoopMapReducerкласса может использоваться, чтобы сконфигурировать автономное приложение на основе среды Hadoop, где это будет развернутым.Например, если вы хотите задать местоположение MATLAB Runtime на каждом из узлов рабочего на кластере, включайте строку кода, подобную этому:
В этом сценарии мы принимаем, что MATLAB Runtime установлен в месте не по умолчанию, таком какconfig = matlab.mapreduce.DeployHadoopMapReducer('MCRRoot','/opt/MATLAB/MATLAB_Runtime/v96');/opt/MATLAB/MATLAB_Runtimeна узлах рабочего.Для получения информации об определении дополнительных кластерных определенных свойств смотрите
matlab.mapreduce.DeployHadoopMapReducer.Примечание
При определении местоположения MATLAB Runtime как части класса
matlab.mapreduce.DeployHadoopMapReducerзаменит любое местоположение MATLAB Runtime, заданное во время выполнения автономного приложения.Задайте среду выполнения с помощью
mapreducer.mr = mapreducer(config);
Примените функцию
mapreduce.result = mapreduce(... ds,... @maxArrivalDelayMapper,@maxArrivalDelayReducer,... mr,... 'OutputType','Binary', ... 'OutputFolder','hdfs:///user/<username>/results/myresults');
Примечание
Директория HDFS, такая как
.../myresultsможет быть записана в только однажды. Если вы планируете запуск вашего автономного приложения многократно против кластера Hadoop, убедитесь, что вы удаляете директорию.../myresultsна HDFS до каждого выполнения. Другая опция должна изменить название директории.../myresultsв коде MATLAB и перекомпилировать приложение.Считайте результат получившегося datastore.
myAppResult = readall(result)
Используйте команду
mccс флагом-m, чтобы создать автономное приложение.mcc -m depMapRedStandAlone.m
Флаг
-mсоздает стандартный исполняемый файл, который может быть запущен из командной строки. Однако командаmccне может группировать результаты в инсталляторе.Запустите автономное приложение от интерпретатора Linux с помощью следующей команды:
$ ./run_depMapRedStandAlone.sh /usr/local/MATLAB/MATLAB_Runtime/v96/usr/local/MATLAB/MATLAB_Runtime/v96является аргументом, указывающим на местоположение MATLAB Runtime.До выполнения вышеупомянутой команды проверьте, что переменная окружения
HADOOP_PREFIXустановлена в Терминале путем ввода:Если$ echo $HADOOP_PREFIX
echoподходит пустой, смотрите раздел Prerequisites выше, чтобы видеть, как можно установить переменную окруженияHADOOP_PREFIX.Ваше приложение не выполнится, если переменная окружения
HADOOP_PREFIXне будет установлена.Вы будете видеть следующий вывод:
myAppResult = Key Value _________________ ______ 'MaxArrivalDelay' [1014]
Другие примеры map и функций reduce доступны в папке toolbox/matlab/demos. Можно использовать другие примеры, чтобы моделировать подобные автономные приложения, которые запускаются против Hadoop. Для получения дополнительной информации смотрите Сборку Эффективные Алгоритмы с MapReduce (MATLAB).
Полный код для автономного приложения depMapRedStandAlone может быть найден здесь:
Смотрите также
KeyValueDatastore | TabularTextDatastore | datastore | matlab.mapreduce.DeployHadoopMapReducer | mcc