Работа с большими наборами данных

Соединитесь с базой данных с максимальной производительностью

Когда вы используете MATLAB® с базой данных, содержащей большие объемы данных, можно испытать проблемы из памяти или медленную обработку. Чтобы достигнуть самой быстрой производительности, соединитесь со своей базой данных с помощью нативного интерфейса ODBC. Если нативный интерфейс ODBC не работает, соединяется с вашей базой данных с помощью драйвера JDBC. Для получения дополнительной информации смотрите Соединение с Базой данных.

Импортируйте большие наборы данных в MATLAB

Если вы выбираете большие объемы данных в базе данных, чтобы импортировать в MATLAB, можно испытать проблемы из памяти или медленную обработку. Чтобы достигнуть самой быстрой производительности, можно импортировать данные в пакетах.

При работе с нативной связью ODBC объем памяти, доступный MATLAB, может ограничить вас в обработке вашего полного набора данных целиком. Чтобы управлять памятью MATLAB, обработайте свои данные в частях. Используйте функцию fetch, чтобы ограничить количество строк, которые ваш запрос возвращает при помощи входного параметра 'MaxRows'. Используя скрипт MATLAB, можно импортировать данные с шагом, пока все данные не получены. Для примера смотрите fetch.

Если вы не имеете доступа к базе данных и хотите импортировать большие наборы данных, можно использовать интерфейс MATLAB для SQLite. Для получения дополнительной информации смотрите Работу с Интерфейсом MATLAB к SQLite.

Экспортируйте большие наборы данных из MATLAB

При вставке больших объемов данных в базу данных можно испытать медленную обработку. Чтобы достигнуть самой быстрой производительности, используйте функцию sqlwrite, чтобы экспортировать ваши данные из MATLAB.

Если вы не имеете доступа к базе данных и хотите экспортировать большие наборы данных, можно использовать функцию insert с интерфейсом MATLAB к SQLite. Для получения дополнительной информации смотрите Работу с Интерфейсом MATLAB к SQLite.

Доступ к большим данным Используя DatabaseDatastore

Альтернатива для импорта больших наборов данных, сохраненных в базе данных в MATLAB, использует DatabaseDatastore. DatabaseDatastore является datastore, который содержит набор данных, хранимых в базе данных.

Можно анализировать данные в DatabaseDatastore с помощью длинных массивов с общими функциями MATLAB, такими как mean и histogram. Для получения дополнительной информации смотрите, Анализируют Большие Данные в Базе данных Используя Длинные массивы. Или для большего количества управления можно также написать собственные алгоритмы с помощью MapReduce. Для получения дополнительной информации смотрите, Анализируют Большие Данные в Базе данных Используя MapReduce.

Похожие темы