Анализ больших данных в базе данных с помощью длинных массивов

Этот пример определяет минимальную задержку прибытия большого набора данных о рейсе, который хранится в базе данных. Вы можете получить доступ к большим наборам данных и создать длинный массив с помощью DatabaseDatastore объект с Database Toolbox™. Когда существует tall array, можно визуализировать данные в длинный массив. Также можно написать алгоритм MapReduce, который задает куски и сокращение данных.

The DatabaseDatastore объект не поддерживает использование параллельного пула с установленной Toolbox™ Parallel Computing. Чтобы анализировать данные с помощью длинных массивов или запустить алгоритмы MapReduce, установите глобальное окружение выполнения как локальный сеанс MATLAB ®.

Этот пример использует предварительно сконфигурированный источник данных JDBC для создания подключения к базе данных. Для получения дополнительной информации смотрите configureJDBCDataSource функция.

Создание DatabaseDatastore Объект

Установите глобальное окружение выполнения в качестве локального сеанса MATLAB ®.

mapreducer(0);

Файл airlinesmall.csv содержит большой набор рейса данных. Загрузите этот файл в таблицу базы данных Microsoft ® SQL Server ® airlinesmall. В этой таблице содержится 123 523 записи.

Создайте подключение базы данных к источнику данных JDBC MSSQLServerJDBCAuth. Этот источник данных настраивает драйвер JDBC для базы данных Microsoft ® SQL Server ® с проверкой подлинности Windows ®. Укажите пустые имя пользователя и пароль.

datasource = "MSSQLServerJDBCAuth";
username = "";
password = "";
conn = database(datasource,username,password);

Создайте DatabaseDatastore объект с использованием подключения к базе данных и SQL-запроса. Этот SQL-запрос извлекает данные задержки поступления из airlinesmall таблица. databaseDatastore выполняет запрос SQL.

sqlquery = 'select ArrDelay from airlinesmall';

dbds = databaseDatastore(conn,sqlquery,'ReadSize',50000);

Нахождение минимальной задержки прибытия с использованием Длинный массив

Потому что DatabaseDatastore объект возвращает таблицу, создает длинная таблица.

tt = tall(dbds);

Найдите минимальную задержку прибытия.

minArrDelay = min(tt.ArrDelay);

minArrDelay содержит недооцененную минимальную задержку прибытия. Чтобы вернуть выходу значение, используйте gather. Для получения дополнительной информации смотрите Отсроченная оценка длинных массивов.

minArrDelayValue = gather(minArrDelay)
Evaluating tall expression using the Local MATLAB Session:
- Pass 1 of 1: Completed in 1.6 sec
Evaluation completed in 1.9 sec

minArrDelayValue =

   -64

В дополнение к определению минимума, длинные массивы поддерживают многие другие функции. Для получения дополнительной информации смотрите Вспомогательные функции.

Закройте DatabaseDatastore Подключение объекта и базы данных

close(dbds)

См. также

| | | | | |

Похожие примеры

Подробнее о

Внешние веб-сайты