exponenta event banner

Искровые приложения

Создание и выполнение скомпилированных приложений MATLAB ® в кластерах Hadoop ® с поддержкой Spark™

Поддерживаемая платформа: только Linux ®.

Приложения MATLAB можно развернуть против Spark двумя способами:

  • Развертывание массивов tall в кластере Hadoop с поддержкой Spark

  • Развертывание приложений с помощью API MATLAB для Spark

Сведения о развертывании приложений MATLAB, содержащих массивы tall, см. в разделе Развертывание массивов Tall в кластере Hadoop с поддержкой искр. Дополнительные сведения о работе с массивами уровня см. в разделе Массивы уровня.

Развертывание приложений MATLAB, использующих такие функции, как flatMap, распространенное в программах Spark, см. раздел Развертывание приложений с помощью API MATLAB для Spark.

API MATLAB для Spark предоставляет модель программирования Spark MATLAB. Поэтому вы найдете функции Spark, такие как flatMap, mapPartitions, и aggregate который можно легко использовать при создании приложений MATLAB.

Примечание

Приложения MATLAB, разработанные с помощью API MATLAB для Spark, не могут быть развернуты, если они содержат массивы tall.

Краткий обзор концепций Spark и обсуждение того, как развернутые приложения MATLAB включают эти концепции, см. в Apache Spark Basics.

MATLAB имеет обширную коллекцию научных и инженерных алгоритмов, а Spark является быстрым и универсальным механизмом для крупномасштабной обработки данных. При развертывании приложений MATLAB для Spark можно создавать приложения в MATLAB и выполнять их для кластера с поддержкой Spark.

Поддерживаемые версии Apache Spark™: 1.3-2.x.