Выберите Datastore for File Format или Application

Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. Каждый формат файла и приложение используют другой тип datastore, который содержит свойства, подходящие для типа данных или приложения, которое это поддерживает. MATLAB^® обеспечивает хранилища данных для стандартных форматов файлов, таких как Excel^® файлы и хранилища данных для определенных приложений, таких как Глубокое обучение. В дополнение к существующим хранилищам данных, если ваши данные находятся в собственном формате, то можно разработать индивидуально настраиваемый datastore с помощью пользовательской среды хранилища данных.

Хранилища данных для стандартных форматов файлов

Поскольку набор данных в стандартном формате файла использует одну из этих опций.

Datastore	Описание
`TabularTextDatastore`	Текстовые файлы, содержащие данные в столбцах, включая файлы CSV
`SpreadsheetDatastore`	Файлы электронной таблицы с поддерживаемым форматом Excel, такие как `.xlsx`
`ImageDatastore`	Файлы изображений, включая форматы, которые поддерживаются `imread` такой как JPEG и PNG
`ParquetDatastore`	Файлы Parquet, содержащие данные в столбцах
`FileDatastore`	Файлы с нестандартным форматом файла Требует пользовательской функции чтения файла

Преобразуйте или объедините существующие хранилища данных.

Datastore	Описание
`CombinedDatastore`	Datastore, для объединения данных, считанных из нескольких базовых хранилищ данных
`TransformedDatastore`	Datastore, чтобы преобразовать базовый datastore

Хранилища данных, чтобы объединяться с MapReduce и длинными массивами.

Datastore	Описание
`KeyValueDatastore`	Данные о паре "ключ-значение", которые являются входными параметрами к или выходными параметрами `mapreduce`
`TallDatastore`	Datastore для выгрузки `tall` массивы

Хранилища данных для определенных приложений

На основе вашего приложения используют одно из этих хранилищ данных.

Приложение	Datastore	Описание	Необходимый тулбокс
Данные модели Simulink	`SimulationDatastore` (Simulink)	Datastore для входных и выходных данных симуляции, которые вы используете с Simulink^® модель	Simulink
Ансамбль симуляции и прогнозирующие данные об обслуживании	`simulationEnsembleDatastore` (Predictive Maintenance Toolbox)	Datastore, чтобы управлять данными ансамбля симуляции	Predictive Maintenance Toolbox™
Ансамбль симуляции и прогнозирующие данные об обслуживании	`fileEnsembleDatastore` (Predictive Maintenance Toolbox)	Datastore, чтобы управлять данными ансамбля в пользовательском формате файла	Predictive Maintenance Toolbox
Файлы Формата данных измерения (MDF)	`mdfDatastore` (Vehicle Network Toolbox)	Datastore для набора MDF-файлов	Vehicle Network Toolbox™
Файлы Формата данных измерения (MDF)	`mdfDatastore` (Powertrain Blockset)	Datastore для набора MDF-файлов	Powertrain Blockset™
Глубокое обучение Хранилища данных для предварительной обработки изображения или данных о последовательности	`pixelLabelDatastore` (Computer Vision Toolbox)	Datastore для данных о пиксельных метках	Computer Vision Toolbox™ и Deep Learning Toolbox™
	`pixelLabelImageDatastore` (Computer Vision Toolbox)	Datastore для того, чтобы обучить сети семантической сегментации Datastore недетерминирован	Computer Vision Toolbox и Deep Learning Toolbox
	`boxLabelDatastore` (Computer Vision Toolbox)	Datastore для ограничительной рамки помечает данные	Computer Vision Toolbox и Deep Learning Toolbox
	`signalDatastore` (Signal Processing Toolbox)	Datastore для набора файлов сигнала	Signal Processing Toolbox™ и Deep Learning Toolbox
	`randomPatchExtractionDatastore` (Image Processing Toolbox)	Datastore для извлечения случайных закрашенных фигур от изображений или пикселя помечает изображения Datastore недетерминирован	Image Processing Toolbox™ и Deep Learning Toolbox
	`denoisingImageDatastore` (Image Processing Toolbox)	Datastore, чтобы обучить глубокую нейронную сеть шумоподавления изображений Datastore недетерминирован	Image Processing Toolbox и Deep Learning Toolbox
	`augmentedImageDatastore` (Deep Learning Toolbox)	Datastore для изменения размеров и увеличения учебных изображений Datastore недетерминирован	Deep Learning Toolbox
Аудиоданные	`audioDatastore` (Audio Toolbox)	Datastore для набора звуковых файлов	Audio Toolbox™
Данные изображения из памяти	`blockedImageDatastore` (Image Processing Toolbox)	Datastore, чтобы управлять блоками одного изображения, которое является слишком большим, чтобы уместиться в памяти	Image Processing Toolbox
Данные о базе данных	`databaseDatastore` (Database Toolbox)	Datastore для наборов данных в реляционной базе данных	Database Toolbox™

Пользовательские форматы файлов

Для набора данных в пользовательском формате файла, если каждый отдельный файл умещается в памяти, FileDatastore использования наряду с вашей пользовательской функцией чтения файла. В противном случае разработайте свой собственный полностью индивидуально настраиваемый datastore для пользовательских или собственных данных с помощью matlab.io.Datastore класс. Смотрите Разрабатывают Пользовательский Datastore.

Недетерминированные хранилища данных

Хранилища данных, которые не возвращают те же самые данные для вызова read функция после вызова reset функция является недетерминированными хранилищами данных. Не используйте недетерминированные хранилища данных с tall массивы, mapreduce, или любой другой код, который требует чтения данных несколько раз.

Некоторые приложения требуют данных, которые случайным образом увеличиваются или преобразовываются. Например, augmentedImageDatastore (Deep Learning Toolbox) datastore, от применения глубокого обучения увеличивает учебные данные изображения с рандомизированными операциями предварительной обработки, чтобы помочь препятствовать тому, чтобы сеть сверхсоответствовала и запомнила точные детали учебных изображений. Выход этого datastore отличается каждый раз, когда вы выполняете a read операция после вызова reset.

Документация