Поддерживаемая платформа: Linux® только.
Используя MATLAB API для Spark, чтобы развернуть приложение состоит из двух частей:
Создание приложения с помощью MATLAB API в Spark и группируя его как автономное приложение в среде рабочего стола MATLAB.
Выполнение автономного приложения против Spark включило кластер из интерпретатора Linux.
При создавании приложения с помощью MATLAB API в Spark вы сможете использовать функции Spark, такие как flatMap, mapPartitions, aggregate и другие в вашем коде MATLAB. API отсоединяет модель программирования Spark MATLAB, допуская реализации MATLAB многочисленных функций Spark. Многие из этих реализаций MATLAB принимают, что указатели на функцию или анонимные функции как входные параметры выполняют различные типы исследований.
API позволяет вам в интерактивном режиме запустить свое приложение из среды рабочего стола MATLAB в нераспределенном режиме на одной машине. Второй сеанс работы с MATLAB на той же машине служит рабочим. Эта функциональность может быть полезной в отладке вашего приложения до развертывания, это на Spark включило кластер. Необходимо сконфигурировать вашу среду MATLAB для интерактивной отладки с помощью MATLAB API в Spark. Для получения дополнительной информации смотрите, Конфигурируют Среду для Интерактивной Отладки.
Общий рабочий процесс для использования MATLAB API для Spark следующие:
Свойства Specify Spark.
Создайте объект SparkConf.
Создайте объект SparkContext.
Создайте объект RDD из данных.
Выполните операции на объекте RDD.
Можно группировать приложение, созданное с этим API в автономное приложение с помощью mcc команда или deploytool. Можно затем запустить приложение на включенном кластере Spark от интерпретатора Linux.
Разработанное использование приложений MATLAB MATLAB API для Spark не может быть развернуто, если они содержат длинные массивы.
Для полного примера смотрите Пример на Развертывающихся Приложениях к Spark Используя MATLAB API для Spark. Можно следовать тем же инструкциям, чтобы развернуться, приложения создали использование MATLAB API для Spark к Cloudera® CDH.
matlab.compiler.mlspark.SparkConf | Интерфейсный класс, чтобы сконфигурировать приложение параметрами Spark как пары "ключ-значение" |
matlab.compiler.mlspark.SparkContext | Интерфейсный класс, чтобы инициализировать связь с Spark включил кластер |
matlab.compiler.mlspark.RDD | Интерфейсный класс, чтобы представлять Эластичный распределенный набор данных (RDD) Spark |
Сконфигурируйте среду для интерактивной отладки
Сконфигурируйте свою среду MATLAB, чтобы в интерактивном режиме выполнить вызовы и отладить ваше приложение с помощью MATLAB API в Spark.
Изучите основной Apache концепции Spark™ и смотрите, как эти концепции относятся к развертывающимся приложениям MATLAB к Spark.
