Большие наборы данных могут быть в форме больших файлов, которые не вписываются в доступную память или файлы, которые занимают много времени к процессу. Большой набор данных также может быть набором многочисленных маленьких файлов. Нет никакого единственного подхода к работе с большими наборами данных, таким образом, MATLAB® включает много инструментов для доступа и обработки больших данных.
Начните путем создания datastore, который может получить доступ к небольшим частям данных за один раз. Можно использовать datastore, чтобы управлять инкрементным импортом данных. Чтобы анализировать данные с помощью общих функций MATLAB, таких как mean
и histogram
, создают длинный массив сверху datastore. Для более комплексных проблем можно записать алгоритм MapReduce, который задает разделение на блоки и сокращение данных.