Когда вы используете MATLAB® с базой данных, содержащей большие объемы данных, можно столкнуться с проблемами нехватки памяти или медленной обработкой. Чтобы достичь самой высокой эффективности, подключитесь к базе данных с помощью собственного интерфейса ODBC. Если собственный интерфейс ODBC не работает, подключитесь к базе данных с помощью драйвера JDBC. Для получения дополнительной информации см. раздел «Подключение к базе данных».
Если вы выбираете большие объемы данных в базе данных для импорта в MATLAB, можно столкнуться с проблемами нехватки памяти или медленной обработки. Для достижения самой быстрой эффективности можно импортировать данные пакетами.
При работе с собственным подключением ODBC объем памяти, доступный MATLAB, может ограничить вам обработку всего набора данных сразу. Чтобы управлять памятью MATLAB, обработайте данные по частям. Используйте fetch
функция для ограничения количества строк, возвратов вами запрос, при помощи 'MaxRows'
входной параметр. Используя скрипт MATLAB, можно импортировать данные с шагами до тех пор, пока не будут извлечены все данные. Для получения примера см. fetch
.
Если у вас нет доступа к базе данных и вы хотите импортировать большие наборы данных, можно использовать интерфейс MATLAB для SQLite. Для получения дополнительной информации смотрите Работа с интерфейсом MATLAB к SQLite.
При вставке больших томов данных в базу данных можно испытывать медленную обработку. Чтобы достичь самой быстрой эффективности, используйте sqlwrite
функция для экспорта данных из MATLAB.
Если вы не имеете доступа к базе данных и хотите экспортировать большие наборы данных, можно использовать insert
функция с интерфейсом MATLAB к SQLite. Для получения дополнительной информации смотрите Работа с интерфейсом MATLAB к SQLite.
Альтернативой для импорта больших наборов данных, хранящихся в базе данных, в MATLAB является использование DatabaseDatastore
. A DatabaseDatastore
datastore, который содержит набор данных, хранящихся в базе данных.
Можно анализировать данные в DatabaseDatastore
использование длинных массивов с общими функциями MATLAB, такими как mean
и histogram
. Для получения дополнительной информации смотрите Анализ больших данных в базе данных с использованием длинных массивов. Или, для большего управления, можно также написать свои собственные алгоритмы с помощью MapReduce. Для получения дополнительной информации смотрите Анализ больших данных в базе данных с помощью MapReduce.