Поддерживаемая платформа: Linux® только.
Использование MATLAB API для Spark для развертывания приложения состоит из двух частей:
Создание вашего приложения с помощью MATLAB API для Spark и упаковка его как автономного приложения в среде рабочего стола MATLAB.
Выполнение автономного приложения против кластера с поддержкой Spark из интерпретатора Linux.
При создании вашего приложения с помощью MATLAB API для Spark, вы сможете использовать такие функции Spark, как flatMap, mapPartitions, aggregate и другие в коде MATLAB. API выставляет модель программирования Spark на MATLAB, позволяя MATLAB реализаций многочисленные функции Spark. Многие из этих реализаций MATLAB принимают указатели на функцию или анонимные функции в качестве входов для выполнения различных типов анализа.
API позволяет вам в интерактивном режиме запускать приложение из среды рабочего стола MATLAB в неразмещенном режиме на одной машине. Второй сеанс работы с MATLAB на той же машине служит рабочим. Эта функциональность может быть полезна при отладке вашего приложения перед его развертыванием в кластере с поддержкой Spark. Необходимо сконфигурировать окружение MATLAB для интерактивной отладки с помощью MATLAB API для Spark. Дополнительные сведения см. в разделе Настройка окружении для интерактивной отладки.
Общий рабочий процесс использования MATLAB API для Spark следующий:
Задайте свойства Spark.
Создайте объект SparkConf.
Создайте объект SparkContext.
Создайте объект RDD из данных.
Выполните операции с объектом RDD.
Вы можете упаковать приложение, созданное с помощью этого API, в автономное приложение, используя mcc команда или deploytool. Затем можно запустить приложение в кластере с поддержкой Spark из интерпретатора Linux.
Примечание
Приложения MATLAB, разработанные с помощью MATLAB API для Spark, не могут быть развернуты, если они содержат длинные массивы.
Полный пример см. в Примере Развертывания приложений в Spark с использованием MATLAB API для Spark. Можно следовать тем же инструкциям для развертывания приложений, созданных с помощью MATLAB API для Spark на Cloudera® CDH.
matlab.compiler.mlspark.SparkConf | Класс интерфейса, чтобы сконфигурировать приложение с параметрами Spark как пары "ключ-значение" |
matlab.compiler.mlspark.SparkContext | Класс интерфейса для инициализации соединения с кластером с поддержкой Spark |
matlab.compiler.mlspark.RDD | Класс интерфейса для представления Spark Resilient Distributed Dataset (RDD) |
Сконфигурируйте окружение для интерактивной отладки
Сконфигурируйте окружение MATLAB для интерактивного совершения вызовов и отладки приложения с помощью MATLAB API для Spark.
Узнайте основные концепции Spark™ Apache и посмотрите, как эти концепции связаны с развертыванием приложений MATLAB в Spark.