Анализируйте большие данные в базе данных Используя длинные массивы

Этот пример определяет минимальную задержку прибытия большого набора полетных данных, который хранится в базе данных. Можно получить доступ к большим наборам данных и создать длинный массив с помощью объекта DatabaseDatastore с Database Toolbox™. Если длинный массив существует, можно визуализировать данные в длинном массиве. Также можно написать алгоритм MapReduce, который определяет фрагментацию и сокращение данных.

Объект DatabaseDatastore не поддерживает использование параллельного пула с установленным Parallel Computing Toolbox™. Чтобы анализировать данные с помощью длинных массивов или алгоритмов MapReduce выполнения, установите глобальную среду выполнения быть локальным сеансом MATLAB®.

Этот пример использует предварительно сконфигурированный источник данных JDBC, чтобы создать соединение с базой данных. Для получения дополнительной информации смотрите, что configureJDBCDataSource функционирует.

Создайте объект `DatabaseDatastore`

Установите глобальную среду выполнения быть локальным сеансом MATLAB®.

mapreducer(0);

Файл airlinesmall.csv содержит большой набор полетных данных. Загрузите этот файл в таблицу базы данных Microsoft® SQL Server® airlinesmall. Эта таблица содержит 123 523 записи.

Создайте соединение с базой данных к источнику данных JDBC MSSQLServerJDBCAuth. Этот источник данных конфигурирует драйвер JDBC к базе данных Microsoft® SQL Server® с аутентификацией Windows®. Задайте пустое имя пользователя и пароль.

datasource = "MSSQLServerJDBCAuth";
username = "";
password = "";
conn = database(datasource,username,password);

Создайте объект DatabaseDatastore с помощью соединения с базой данных и SQL-запроса. Этот SQL-запрос получает данные задержки прибытия из таблицы airlinesmall. databaseDatastore выполняет SQL-запрос.

sqlquery = 'select ArrDelay from airlinesmall';

dbds = databaseDatastore(conn,sqlquery,'ReadSize',50000);

Найдите минимальную задержку прибытия Используя длинный массив

Поскольку объект DatabaseDatastore возвращает таблицу, составьте длинную таблицу.

tt = tall(dbds);

Найдите минимальную задержку прибытия.

minArrDelay = min(tt.ArrDelay);

minArrDelay содержит неоцененную минимальную задержку прибытия. Чтобы возвратить выходное значение, используйте gather. Для получения дополнительной информации смотрите Отсроченную оценку Длинных массивов (MATLAB).

minArrDelayValue = gather(minArrDelay)

Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 1.6 sec
Evaluation completed in 1.9 sec

minArrDelayValue =

   -64

В дополнение к определению минимума длинные массивы поддерживают много других функций. Для получения дополнительной информации смотрите Поддерживающие Функции (MATLAB).

Закройте объект `DatabaseDatastore` и соединение с базой данных

close(dbds)

Документация