exponenta event banner

Большие файлы и большие данные

Доступ и обработка коллекций файлов и больших наборов данных

Большие наборы данных могут быть в виде больших файлов, которые не помещаются в доступную память, или файлов, обработка которых занимает много времени. Большой набор данных также может представлять собой совокупность многочисленных небольших файлов. Единого подхода к работе с большими наборами данных не существует, поэтому MATLAB ® включает в себя ряд инструментов для доступа к большим данным и их обработки.

Начните с создания хранилища данных, которое может одновременно получать доступ к небольшим частям данных. Хранилище данных можно использовать для управления инкрементным импортом данных. Анализ данных с использованием общих функций MATLAB, таких как mean и histogramсоздайте высокий массив поверх хранилища данных. Для решения более сложных задач можно написать алгоритм MapReduce, определяющий порцию и уменьшение объема данных.