parallel.cluster.Hadoop

Кластер Hadoop для mapreducer, mapreduce и длинных массивов

Конструкторы

parallel.cluster.Hadoop

Описание

Объект parallel.cluster.Hadoop обеспечивает доступ к кластеру для конфигурирования mapreducer, mapreduce и длинных массивов.

Свойства

Объект parallel.cluster.Hadoop имеет следующие свойства.

СвойствоОписание
AdditionalPathsПути, которые будут добавлены к пути поиска файлов команды MATLAB на рабочих
AttachedFilesФайлы, переданные рабочим во время a mapreduce вызвать
AutoAttachFilesЗадает ли автоматически файлы присоединения
ClusterMatlabRootЗадает путь к MATLAB для рабочих, чтобы использовать
HadoopConfigurationFileФайл конфигурации приложения, который будет дан Hadoop
HadoopInstallFolderМестоположение установки Hadoop на локальной машине
HadoopPropertiesКарта пар свойства значения имени, которые будут даны Hadoop
LicenseNumberНомер лицензии, чтобы использовать с онлайновым лицензированием
RequiresOnlineLicensingЗадайте, использует ли кластер онлайн лицензирование
SparkInstallFolderМестоположение установки Spark на локальной машине
SparkPropertiesКарта пар свойства значения имени, которые будут даны Spark

HadoopProperties позволяет вам заменять свойства настройки для Hadoop. См. список свойств в документации Hadoop®.

SparkInstallFolder набором по умолчанию к SPARK_HOME переменная окружения. Это требуется для оценки длинного массива на Hadoop (но не для mapreduce). Для правильно сконфигурированного кластера только необходимо установить папку установки.

SparkProperties позволяет вам заменять свойства настройки для Spark. См. список свойств в документации Spark®.

Справка

Для дальнейшей справки введите:

help parallel.cluster.Hadoop

Задайте свойства памяти

Включенные кластеры Hadoop Spark устанавливают границы того, сколько памяти доступно. Необходимо настроить эти пределы, чтобы поддержать рабочий процесс.

Размер данных, чтобы собраться

Объем данных, собранный клиенту, ограничивается свойствами Spark:

  • spark.driver.memory

  • spark.executor.memory

Объем данных, чтобы собраться из одной задачи Spark должен поместиться в эти свойства. Одна задача Spark обрабатывает один блок данных от HDFS, который составляет 128 Мбайт данных по умолчанию. Если вы собираете длинный массив, содержащий большинство исходных данных, необходимо гарантировать, что эти свойства собираются соответствовать.

Если эти свойства установлены слишком маленькие, вы видите ошибку как следующее.

Error using tall/gather (line 50)
Out of memory; unable to gather a partition of size 300m from Spark.
Adjust the values of the Spark properties spark.driver.memory and 
spark.executor.memory to fit this partition.
Сообщение об ошибке также задает настройки свойства, в которых вы нуждаетесь.

Настройте свойства или в настройках по умолчанию кластера или непосредственно в MATLAB. Чтобы настроить свойства в MATLAB, добавьте пары "имя-значение" в SparkProperties свойство кластера. Например:

cluster = parallel.cluster.Hadoop;
cluster.SparkProperties('spark.driver.memory') = '2048m';
cluster.SparkProperties('spark.executor.memory') = '2048m';
mapreducer(cluster);

Задайте размер оперативной памяти для работника MATLAB

Сумма оперативной памяти для работника MATLAB ограничивается свойством Spark:

  • spark.yarn.executor.memoryOverhead

По умолчанию это установлено в 2,5 Гбайт. Обычно необходимо увеличивать это, если вы используете arrayfun, cellfun, или пользовательские хранилища данных, чтобы сгенерировать большие объемы данных сразу. Желательно увеличить это, если вы сталкиваетесь с потерянными или разрушенными процессами Исполнителя Spark.

Можно настроить эти свойства или в настройках по умолчанию кластера или непосредственно в MATLAB. Чтобы настроить свойства в MATLAB, добавьте пары "имя-значение" в свойство SparkProperties кластера. Например:

cluster = parallel.cluster.Hadoop; 
cluster.SparkProperties('spark.yarn.executor.memoryOverhead') = '4096m';
mapreducer(cluster);

Смотрите также

parallel.Cluster, parallel.Pool

Введенный в R2014b
Для просмотра документации необходимо авторизоваться на сайте