Искровые приложения

Создайте и выполните скомпилированный MATLAB® приложения против Spark™ Hadoop® кластеры

Поддерживаемая платформа: Linux® только.

Можно развернуть приложения MATLAB против Spark двумя способами:

  • Развертывание длинных массивов на кластере Hadoop с поддержкой Spark

  • Развертывание приложений с помощью MATLAB API для Spark

Развертывание приложений MATLAB, содержащих длинные массивы, смотрите в Развертывание длинных массивов на кластере Hadoop с поддержкой Spark. Дополнительные сведения о работе с длинные массивы см. в разделе «Длинные массивы».

Чтобы развернуть приложения MATLAB, которые используют такие функции, как flatMap, что распространено в программах Spark, см. Развертывание приложений с использованием MATLAB API для Spark.

MATLAB API для Spark выставляет модель программирования Spark на MATLAB. Поэтому вы найдете такие функции Spark, как flatMap, mapPartitions, и aggregate который можно легко использовать при создании приложений MATLAB.

Примечание

Приложения MATLAB, разработанные с помощью MATLAB API для Spark, не могут быть развернуты, если они содержат длинные массивы.

Сводные данные концепций Spark и обсуждение того, как развертываемые приложения MATLAB включают эти концепции, см. в разделе «Основы Apache Spark».

MATLAB имеет обширный набор научных и инженерных алгоритмов, а Spark является быстрым и универсальным двигателем для крупномасштабной обработки данных. Развертывая приложения MATLAB против Spark, можно создать приложения в MATLAB и выполнить их против кластера с поддержкой Spark.

Поддерживаемые версии Spark™ Apache: 1.3-2.x.