Используемые продукты: Statistics and Machine Learning Toolbox™, Database Toolbox™, Parallel Computing Toolbox™, MATLAB® Parallel Server™, MATLAB Compiler™
Несколько тулбоксов расширяют возможности длинных массивов. Эти улучшения включают написание алгоритмов машинного обучения, интеграцию с системами больших данных и развертывание автономных приложений.
Statistics and Machine Learning Toolbox позволяет вам выполнять расширенные статистические вычисления на длинных массивах. Возможности включают в себя:
K-образная кластеризация
Линейный регрессионный подбор кривой
Сгруппированная статистика
Классификация
Для получения дополнительной информации см. Анализ Больших данных с длинными массивами (Statistics and Machine Learning Toolbox).
Когда вы выполняете вычисления на длинные массивы, окружение выполнения по умолчанию использует или локальный сеанс работы с MATLAB, или локальный параллельный пул, если у вас есть Parallel Computing Toolbox. Используйте mapreducer функция для изменения окружения выполнения длинные массивы при использовании Parallel Computing Toolbox, MATLAB Parallel Server или MATLAB Compiler:
Parallel Computing Toolbox - Выполняйте вычисления параллельно с использованием локальных или кластерных рабочих для ускорения вычислений больших длинных массивов. Дополнительные сведения см. в разделах Использование длинных массивах в параллельном пуле (Parallel Computing Toolbox) или Обработка больших данных в облаке (Parallel Computing Toolbox).
MATLAB Parallel Server - Выполняйте вычисления длинных массивов для кластера, включая Hadoop Spark™ поддержкой Apache® кластеры. Это может значительно сократить время выполнения очень больших вычислений. Дополнительные сведения см. в разделе Использование длинных массивов в кластере Hadoop с поддержкой Spark (Parallel Computing Toolbox).
MATLAB Compiler - Развертывание приложений MATLAB, содержащих длинные массивы, в качестве автономных приложений на Apache Spark. Дополнительные сведения см. в разделе Приложения Spark (MATLAB Compiler).
Одно из преимуществ разработки алгоритмов с длинные массивы в том, что вам нужно только один раз записать код. Вы можете разработать свой код локально, затем использовать mapreducer масштабирование и использование возможностей, предлагаемых Parallel Computing Toolbox, MATLAB Parallel Server или MATLAB Compiler, без необходимости переписывать алгоритм.
Примечание
Каждый длинный массив связан с одним окружением выполнения, когда он построен с использованием tall(ds). Если это окружение выполнения будет позже изменена или удаляемо, то длинный массив станет недопустимым.
По этой причине при каждом изменении окружения выполнения необходимо восстановить длинный массив.
Database Toolbox позволяет вам создать длинная таблица из DatabaseDatastore который поддерживается данными в базе данных. Для получения дополнительной информации смотрите Анализ больших данных в базе данных с использованием длинных массивов (Database Toolbox).
Примечание
DatabaseDatastore имеет следующие ограничения:
DatabaseDatastore необходимо использовать локальный сеанс работы с MATLAB в качестве окружения выполнения. Установите это окружение с помощью команды mapreducer(0).
Автономные приложения, содержащие длинные массивы, которые используют DatabaseDatastore не может быть развернута против Apache Spark с помощью MATLAB Compiler.
gcmr | mapreducer | tall
