Работа с большими наборами данных

Подключение к базе данных с максимальной эффективностью

Когда вы используете MATLAB® с базой данных, содержащей большие объемы данных, можно столкнуться с проблемами нехватки памяти или медленной обработкой. Чтобы достичь самой высокой эффективности, подключитесь к базе данных с помощью собственного интерфейса ODBC. Если собственный интерфейс ODBC не работает, подключитесь к базе данных с помощью драйвера JDBC. Для получения дополнительной информации см. раздел «Подключение к базе данных».

Импорт больших наборов данных в MATLAB

Если вы выбираете большие объемы данных в базе данных для импорта в MATLAB, можно столкнуться с проблемами нехватки памяти или медленной обработки. Для достижения самой быстрой эффективности можно импортировать данные пакетами.

При работе с собственным подключением ODBC объем памяти, доступный MATLAB, может ограничить вам обработку всего набора данных сразу. Чтобы управлять памятью MATLAB, обработайте данные по частям. Используйте fetch функция для ограничения количества строк, возвратов вами запрос, при помощи 'MaxRows' входной параметр. Используя скрипт MATLAB, можно импортировать данные с шагами до тех пор, пока не будут извлечены все данные. Для получения примера см. fetch.

Если у вас нет доступа к базе данных и вы хотите импортировать большие наборы данных, можно использовать интерфейс MATLAB для SQLite. Для получения дополнительной информации смотрите Работа с интерфейсом MATLAB к SQLite.

Экспорт больших наборов данных из MATLAB

При вставке больших томов данных в базу данных можно испытывать медленную обработку. Чтобы достичь самой быстрой эффективности, используйте sqlwrite функция для экспорта данных из MATLAB.

Если вы не имеете доступа к базе данных и хотите экспортировать большие наборы данных, можно использовать insert функция с интерфейсом MATLAB к SQLite. Для получения дополнительной информации смотрите Работа с интерфейсом MATLAB к SQLite.

Доступ к большим данным с помощью DatabaseDatastore

Альтернативой для импорта больших наборов данных, хранящихся в базе данных, в MATLAB является использование DatabaseDatastore. A DatabaseDatastore datastore, который содержит набор данных, хранящихся в базе данных.

Можно анализировать данные в DatabaseDatastore использование длинных массивов с общими функциями MATLAB, такими как mean и histogram. Для получения дополнительной информации смотрите Анализ больших данных в базе данных с использованием длинных массивов. Или, для большего управления, можно также написать свои собственные алгоритмы с помощью MapReduce. Для получения дополнительной информации смотрите Анализ больших данных в базе данных с помощью MapReduce.

Похожие темы