Поддерживаемая платформа: только Linux ®.
Использование API MATLAB для Spark для развертывания приложения состоит из двух частей:
Создание приложения с помощью API MATLAB для Spark и упаковка его как автономного приложения в среде рабочего стола MATLAB.
Выполнение автономного приложения в кластере с поддержкой Spark из оболочки Linux.
При создании приложения с помощью API MATLAB для Spark можно использовать функции Spark, такие как flatMap, mapPartitions, aggregate и другие в вашем коде MATLAB. API предоставляет модель программирования Spark MATLAB, позволяя реализовать MATLAB многочисленных функций Spark. Многие из этих реализаций MATLAB принимают дескрипторы функций или анонимные функции в качестве входных данных для выполнения различных типов анализа.
API позволяет интерактивно запускать приложение из среды рабочего стола MATLAB в неразмещенном режиме на одной машине. Второй сеанс MATLAB на той же машине служит рабочим. Эта функция может быть полезна при отладке приложения перед его развертыванием в кластере с поддержкой Spark. Необходимо настроить среду MATLAB для интерактивной отладки с помощью API MATLAB для Spark. Дополнительные сведения см. в разделе Настройка среды для интерактивной отладки.
Общий рабочий процесс использования API MATLAB для Spark выглядит следующим образом:
Укажите свойства искры.
Создайте объект SparkConf.
Создайте объект SparkContext.
Создайте объект RDD из данных.
Выполните операции с объектом RDD.
Приложение, созданное с помощью этого API, можно упаковать в автономное приложение с помощью mcc команда или deploytool. Затем приложение можно запустить в кластере с поддержкой Spark из оболочки Linux.
Примечание
Приложения MATLAB, разработанные с помощью API MATLAB для Spark, не могут быть развернуты, если они содержат массивы tall.
Полный пример см. в разделе Пример развертывания приложений в искру с помощью API MATLAB для искры. Для развертывания приложений, созданных с помощью API MATLAB для Spark в Cloudera ® CDH, следуйте тем же инструкциям.
matlab.compiler.mlspark.SparkConf | Класс интерфейса для настройки приложения с параметрами Spark как пар ключ-значение |
matlab.compiler.mlspark.SparkContext | Класс интерфейса для инициализации подключения к кластеру с поддержкой Spark |
matlab.compiler.mlspark.RDD | Класс интерфейса для представления отказоустойчивого распределенного набора данных (RDD) |
Настройка среды для интерактивной отладки
Настройте среду MATLAB для интерактивного выполнения вызовов и отладки приложения с помощью API MATLAB для Spark.
Изучите основные концепции Apache Spark™ и узнайте, как эти концепции связаны с развертыванием приложений MATLAB в Spark.