Приложения Spark

Создайте и выполнитесь, скомпилировал приложения MATLAB® против включенных кластеров Hadoop® Spark™

Поддерживаемая платформа: Linux® только.

Можно развернуть приложения MATLAB против Spark двумя способами:

  • Развертывание высоких массивов на кластере Hadoop с поддержкой Spark

  • Разверните приложения с помощью MATLAB API для Spark

Чтобы развернуть приложения MATLAB, которые содержат длинные массивы, смотрите, Развертывают Длинные массивы на Spark Enabled Кластер Hadoop. Чтобы узнать больше, как работать с длинными массивами, смотрите Длинные массивы (MATLAB).

Чтобы развернуть приложения MATLAB, которые используют функции, такие как flatMap, который распространен в программах Spark, видят, Развертывают Приложения Используя MATLAB API для Spark.

MATLAB API для Spark представляет модель программирования Spark MATLAB. Поэтому вы будете искать функции Spark, такие как flatMap, mapPartitions и aggregate, который можно с готовностью использовать при создании приложений MATLAB.

Примечание

Разработанное использование приложений MATLAB MATLAB API для Spark не может быть развернуто, если они содержат длинные массивы.

Смотрите Основы Spark Apache для краткого изложения концепций Spark и обсуждения того, как развернутые приложения MATLAB включают те концепции.

MATLAB имеет обширный набор научных и технических алгоритмов, и Spark является быстрым и механизмом общего назначения для крупномасштабной обработки данных. Путем развертывания приложений MATLAB против Spark можно создать приложения в MATLAB и выполнить их против включенного кластера Spark.

Поддерживаемый Apache версии Spark™: 1.3–2.x.