Datastore

Чтение больших коллекций данных

datastore функция создает datastore, который является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. Datastore позволяет вам читать и обрабатывать данные, хранимые в нескольких файлах на диске, удаленном местоположении или базе данных как одна сущность. Если данные являются слишком большими, чтобы уместиться в памяти, можно управлять инкрементным импортом данных, создать tall массив, чтобы работать с данными или использовать datastore в качестве входа к mapreduce для последующей обработки. Для получения дополнительной информации смотрите Начало работы с Datastore.

Функции

развернуть все

datastoreСоздайте datastore для большого количества данных
tabularTextDatastoreDatastore для табличных текстовых файлов
spreadsheetDatastoreDatastore для файлов электронной таблицы
imageDatastoreDatastore для данных изображения
parquetDatastoreDatastore для набора файлов Parquet
fileDatastoreDatastore с пользовательским средством чтения файлов
readСчитайте данные в datastore
readallСчитывайте все данные в datastore
previewПодмножество данных в datastore
partitionРазделите datastore
numpartitionsКоличество разделов datastore
hasdataОпределите, доступны ли данные для чтения
resetСброс Datastore к начальному состоянию

Функции

combineОбъедините данные от нескольких datastores
transformПреобразуйте datastore

Объекты

CombinedDatastoreDatastore, для объединения данных, считанных из нескольких базовых хранилищ данных
TransformedDatastoreDatastore, чтобы преобразовать базовый datastore
KeyValueDatastoreDatastore для данных о паре "ключ-значение" для использования с mapreduce
TallDatastoreDatastore для выгрузки длинных массивов

Классы

развернуть все

matlab.io.Datastore Основной класс datastore
matlab.io.datastore.PartitionableДобавьте поддержку распараллеливания datastore
matlab.io.datastore.HadoopLocationBased Добавьте поддержку Hadoop datastore
matlab.io.datastore.ShuffleableДобавьте поддержку перестановки datastore
matlab.io.datastore.DsFileSet Установленный на файл объект для набора файлов в datastore
matlab.io.datastore.DsFileReader Объект средства чтения файлов для файлов в datastore

Темы

Начало работы с Datastore

Datastore является объектом для чтения одного файла или набора файлов или данных.

Выберите Datastore for File Format или Application

Выберите правильный datastore на основе формата файла ваших данных или приложения.

Чтение и Анализ большого табличного текстового файла

В этом примере показано, как создать datastore для файла крупного текста, содержащего табличные данные, и затем считать и обработать данные один блок за один раз или один файл за один раз.

Чтение и Анализ файлов изображений

В этом примере показано, как создать datastore для набора изображений, считайте файлы изображений и найдите изображения с максимальным средним оттенком, насыщением и яркостью (HSV).

Чтение и анализ MAT-файла на основе пар "ключ-значение"

В этом примере показано, как создать datastore для данных о паре "ключ-значение" в MAT-файле, который является выходом mapreduce.

Чтение и анализ файла последовательности Hadoop

В этом примере показано, как создать datastore для файла Последовательности, содержащего данные в виде пар "ключ-значение".

Работа с удаленными данными

Работа с удаленными данными в Amazon S3™, Microsoft® Azure® Storage Blob или HDFS™.

Настройте Datastore для обработки на различных машинах или кластерах

Setup datastore на вашей машине, которая может загрузиться и обработана на другой машине или кластере.

Разработка пользовательского Datastore

Создайте полностью индивидуально настраиваемый datastore для своих пользовательских или собственных данных.

Руководство по тестированию для пользовательских хранилищ данных

После реализации вашего пользовательского datastore следуйте за этой процедурой тестирования, чтобы квалифицировать ваш пользовательский datastore.