Большие файлы и Большие данные

Доступ и наборы процесса файлов и больших наборов данных

Большие наборы данных могут быть в форме больших файлов, которые не вписываются в доступную память или файлы, которые занимают много времени к процессу. Большой набор данных также может быть набором многочисленных маленьких файлов. Нет никакого единственного подхода к работе с большими наборами данных, таким образом, MATLAB® включает много инструментов для доступа и обработки больших данных.

Начните путем создания datastore, который может получить доступ к небольшим частям данных за один раз. Можно использовать datastore, чтобы управлять инкрементным импортом данных. Чтобы анализировать данные с помощью общих функций MATLAB, таких как mean и histogram, создают длинный массив сверху datastore. Для более комплексных проблем можно записать алгоритм MapReduce, который задает разделение на блоки и сокращение данных.

  • Datastore
    Считайте большое количество данных
  • "Высокие" массивы
    Массивы с большим количеством строк, чем умещаются в памяти
  • MapReduce
    Метод программирования для анализа наборов данных, которые не умещаются в памяти
  • Большие MAT-файлы
    Доступ и заменяет переменные, не загружая в память
  • Размещение в ОЗУ
    Сопоставьте данные файла с памятью для более быстрого доступа
Была ли эта тема полезной?