Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы помещаться в памяти. Каждый формат файла и приложение используют другой тип datastore, который содержит свойства, относящиеся к типу данных или приложению, которое он поддерживает. MATLAB® предоставляет хранилища данных для стандартных форматов файлов, таких как Excel® файлы и хранилища данных для конкретных приложений, такое как глубокое обучение. В дополнение к существующим хранилищам данных, если ваши данные находятся в фирменном формате, то можно разработать пользовательский хранилище данных с помощью пользовательской среды хранилища данных.
Для набора данных в стандартном формате файла используйте один из следующих опций.
| Datastore | Описание |
|---|---|
TabularTextDatastore | Текстовые файлы, содержащие ориентированные на столбцы данные, включая файлы CSV |
SpreadsheetDatastore | Файлы электронной таблицы с поддерживаемым форматом Excel, таким как |
ImageDatastore | Файлы изображений, включая форматы, которые поддерживаются |
ParquetDatastore | Файлы Parquet, содержащие ориентированные на столбцы данные |
FileDatastore | Файлы с нестандартным форматом файла Требуется пользовательская функция чтения файлов |
Преобразуйте или объедините существующие хранилища данных.
| Datastore | Описание |
|---|---|
CombinedDatastore | Datastore, для объединения данных, считанных из нескольких базовых хранилищ данных |
TransformedDatastore | Datastore, чтобы преобразовать базовый datastore |
Хранилища данных для интеграции с MapReduce и длинные массивы.
| Datastore | Описание |
|---|---|
KeyValueDatastore | Данные пары "ключ-значение", которые являются входами или выходами |
TallDatastore | Datastore для выгрузки |
На основе вашего приложения используйте один из этих хранилищ данных.
| Приложение | Datastore | Описание | Требуется тулбокс |
|---|---|---|---|
Данные модели Simulink | SimulationDatastore (Simulink) | Datastore для входных и выходных данных симуляции, которые вы используете с Simulink® модель | Simulink |
Ансамбль симуляции и прогнозирующие данные обслуживания | simulationEnsembleDatastore (Набор инструментов прогнозирующего обслуживания) | Datastore, для управления данными ансамбля симуляции | Predictive Maintenance Toolbox™ |
fileEnsembleDatastore (Набор инструментов прогнозирующего обслуживания) | Datastore, для управления данными ансамбля в пользовательском формате файла | Predictive Maintenance Toolbox | |
Файлы формата данных измерений (MDF) | mdfDatastore (Vehicle Network Toolbox) | Datastore для набора MDF-файлов | Vehicle Network Toolbox™ |
mdfDatastore (Powertrain Blockset) | Datastore для набора MDF-файлов | Powertrain Blockset™ | |
Глубокое обучение Хранилища данных для предварительной обработки изображений или данных последовательности | pixelLabelDatastore (Computer Vision Toolbox) | Datastore для данных о пиксельных метках | Computer Vision Toolbox™ и Deep Learning Toolbox™ |
pixelLabelImageDatastore (Computer Vision Toolbox) | Datastore для настройки сетей семантической сегментации Datastore недетерминирован | Computer Vision Toolbox и Deep Learning Toolbox | |
boxLabelDatastore (Computer Vision Toolbox) | Datastore для данных метки ограничивающего прямоугольника | Computer Vision Toolbox и Deep Learning Toolbox | |
signalDatastore(Набор Signal Processing Toolbox) | Datastore для набора файлов сигналов | Signal Processing Toolbox™ и набор Deep Learning Toolbox | |
randomPatchExtractionDatastore(Набор Image Processing Toolbox) | Datastore для извлечения случайных закрашенных фигур из изображений или изображений с меткой пикселя Datastore недетерминирован | Image Processing Toolbox™ и набор инструментов глубокого обучения | |
denoisingImageDatastore(Набор Image Processing Toolbox) | Datastore, для обучения изображения, деноидирующего глубокую нейронную сеть Datastore недетерминирован | Image Processing Toolbox и Deep Learning Toolbox | |
augmentedImageDatastore (Deep Learning Toolbox) | Datastore для изменения размера и увеличения обучающих изображений Datastore недетерминирован | Deep Learning Toolbox | |
| Аудио Данных | audioDatastore (Audio Toolbox) | Datastore для набора аудио файлов | Audio Toolbox™ |
| Данные изображений за пределами памяти | blockedImageDatastore(Набор Image Processing Toolbox) | Datastore, для управления блоками одного изображения, которое слишком велико, чтобы помещаться в памяти | Image Processing Toolbox |
| Данные базы данных | databaseDatastore (Тулбокс базы данных) | Datastore для наборов данных в реляционной базе данных | Database Toolbox™ |
Для набора данных в пользовательском формате файла, если каждый отдельный файл помещается в памяти, используйте FileDatastore наряду с пользовательской функцией чтения файлов. В противном случае разработайте свой собственный полностью настроенный datastore для пользовательских или фирменных данных с помощью matlab.io.Datastore класс. См. «Разработка пользовательского Datastore».
Хранилища данных, которые не возвращают точно такие же данные для вызова в read функцию после вызова reset функция являются недетерминированными хранилищами данных. Не используйте недетерминированные хранилища данных с tall массивы, mapreduceили любой другой код, который требует чтения данных более одного раза.
Некоторым приложениям требуются данные, которые случайным образом увеличиваются или преобразуются. Для примера, augmentedImageDatastore (Deep Learning Toolbox) datastore, из применения глубокого обучения дополняет обучающие данные изображений рандомизированными операциями предварительной обработки, чтобы помочь предотвратить сверхподбор кривой сети и запоминание точных деталей обучающих изображений. Выход этого datastore отличается каждый раз, когда вы выполняете read операции после вызова на reset.
FileDatastore | ImageDatastore | SpreadsheetDatastore | TabularTextDatastore | tall | TallDatastore
