Импортируйте большие данные от MongoDB Используя MongoDB интерфейс C++

В этом примере показано, как импортировать большой набор полетных данных из набора MongoDB® в рабочую область MATLAB® с помощью интерфейса C++ MongoDB. Чтобы избежать проблем из памяти при получении многих документов, используйте цикл, чтобы импортировать большие данные в пакетах.

Создайте MongoDB связь интерфейса C++

Создайте связь MongoDB с базой данных mongotest использование интерфейса C++ MongoDB. Здесь, сервер базы данных dbtb01 хосты эта база данных с помощью номера порта 27017.

server = "dbtb01";
port = 27017;
dbname = "mongotest";
conn = mongoc(server,port,dbname)
conn = connection with properties:
           Database: "mongotest"
           UserName: ""
             Server: "dbtb01"
               Port: 27017
    CollectionNames: [14×1 string]

conn connection объект, который содержит связь MongoDB. Свойства объектов содержат информацию о связи и базе данных.

  • Именем базы данных является mongotest.

  • Имя пользователя является пробелом.

  • Сервером базы данных является dbtb01.

  • Номером порта является 27017.

  • Эта база данных содержит 14 наборов документа.

Проверьте связь MongoDB.

isopen(conn)
ans = logical
   1

Соединение с базой данных успешно потому что isopen функция возвращается 1. В противном случае соединение с базой данных закрывается.

Определите количество документов импорту

Найдите общее количество документов в виде totaldocs, в airlinesmall набор в течение лет 1997 - 2010. Используйте запрос MongoDB, чтобы фильтровать полетные данные в течение заданных лет.

collection = "airlinesmall";
mongoquery = "{""Year"":{""$gte"":1997,""$lte"":2010}}";
totaldocs = count(conn,collection,Query=mongoquery);

Получите большие данные в пакетах

Оцените, что пакетный размер 15 000 документов. Задайте переменную рабочего пространства MATLAB для того, чтобы хранить полученные данные.

batchsize = 15000;
flightdata = [];

Можно изменить пакетный размер в зависимости от эффективности и объема памяти системы.

Используйте while цикл, чтобы получить полетные данные из набора. Переменная flightdata накапливает каждый пакет полученных данных.

% Track number of documents read
index = 0;

while index < totaldocs
    
    % Retrieve documents in a batch
    localdata = find(conn,collection,Query=mongoquery, ...
        Skip=index,Limit=batchsize);
    
    % Store retrieved documents locally
    flightdata = [flightdata; localdata];
    
    % Move to the next batch
    index = index + batchsize;
    
end

Отобразите информацию о flightdata переменная. Полученные данные являются массивом структур, который содержит 75 603 структуры. Каждая структура содержит 30 полей полетных данных.

whos flightdata
  Name                Size                Bytes  Class     Attributes

  flightdata      75603x1             248848692  struct              

Закройте MongoDB связь интерфейса C++

close(conn)

Смотрите также

| | | |

Внешние веб-сайты