Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. Каждый формат файла и приложение используют другой тип datastore, который содержит свойства, подходящие для типа данных или приложения, которое это поддерживает. MATLAB® обеспечивает хранилища данных для стандартных форматов файлов, таких как файлы Excel® и хранилища данных для определенных приложений, таких как Глубокое обучение. В дополнение к существующим хранилищам данных, если ваши данные находятся в собственном формате, то можно разработать индивидуально настраиваемый datastore с помощью пользовательской среды хранилища данных.
Поскольку набор данных в стандартном формате файла использует одну из этих опций.
Datastore | Описание |
---|---|
TabularTextDatastore | Текстовые файлы, содержащие данные в столбцах, включая файлы CSV |
SpreadsheetDatastore | Файлы электронной таблицы с поддерживаемым форматом Excel, такие как |
ImageDatastore | Файлы изображений, включая форматы, которые поддерживаются |
ParquetDatastore | Устелите паркетом файлы, содержащие данные в столбцах |
FileDatastore | Файлы с нестандартным форматом файла Требует пользовательской функции чтения файла |
Преобразуйте или объедините существующие хранилища данных.
Datastore | Описание |
---|---|
CombinedDatastore | Datastore, для объединения данных, считанных из нескольких базовых хранилищ данных |
TransformedDatastore | Datastore, чтобы преобразовать базовый datastore |
Хранилища данных, чтобы объединяться с MapReduce и длинными массивами.
Datastore | Описание |
---|---|
KeyValueDatastore | Данные о паре "ключ-значение", которые являются входными параметрами к или выходными параметрами |
TallDatastore | Datastore для выгрузки массивов |
Хранилища данных для аудио и данных о базе данных требуют дополнительных тулбоксов.
Datastore | Описание | Необходимый тулбокс |
---|---|---|
AudioDatastore | Datastore для набора звуковых файлов | Audio Toolbox™ |
DatabaseDatastore | Datastore для наборов данных в реляционной базе данных | Database Toolbox™ |
На основе вашего приложения используют одно из этих хранилищ данных.
Приложение | Datastore | Описание | Необходимый тулбокс |
---|---|---|---|
Данные модели Simulink | SimulationDatastore | Datastore для входных и выходных данных симуляции, которые вы используете с моделью Simulink® | Simulink |
Ансамбль симуляции и прогнозирующие данные об обслуживании | SimulationEnsembleDatastore | Datastore, чтобы управлять данными ансамбля симуляции | Predictive Maintenance Toolbox™ |
FileEnsembleDatastore | Datastore, чтобы управлять данными ансамбля в пользовательском формате файла | Predictive Maintenance Toolbox | |
Файлы Формата данных измерения (MDF) | MDFDatastore | Datastore для набора MDF-файлов | Vehicle Network Toolbox™ |
MDFDatastore | Datastore для набора MDF-файлов | Powertrain Blockset™ | |
Глубокое обучение Хранилища данных для предварительной обработки изображения или данных о последовательности | PixelLabelDatastore | Datastore для пикселя маркирует данные | Computer Vision Toolbox™ и Deep Learning Toolbox™ |
PixelLabelImageDatastore | Datastore для того, чтобы обучить семантические сети сегментации Datastore недетерминирован | Computer Vision Toolbox и Deep Learning Toolbox | |
RandomPatchExtractionDatastore | Datastore для извлечения случайных закрашенных фигур от изображений или пикселя маркирует изображения Datastore недетерминирован | Image Processing Toolbox™ и Deep Learning Toolbox | |
DenoisingImageDatastore | Datastore, чтобы обучить глубокую нейронную сеть шумоподавления изображений Datastore недетерминирован | Image Processing Toolbox и Deep Learning Toolbox | |
AugmentedImageDatastore | Datastore для изменения размеров и увеличения учебных изображений Datastore недетерминирован | Deep Learning Toolbox |
Для набора данных в пользовательском формате файла, если каждый отдельный файл умещается в памяти, FileDatastore
использования наряду с вашей пользовательской функцией чтения файла. В противном случае разработайте свой собственный полностью индивидуально настраиваемый datastore для пользовательских или собственных данных с помощью класса matlab.io.Datastore
. Смотрите Разрабатывают Пользовательский Datastore.
Хранилища данных, которые не возвращают те же самые данные для вызова функции read
после вызова функции reset
, являются недетерминированными хранилищами данных. Не используйте недетерминированные хранилища данных с массивами tall
, mapreduce
или любым другим кодом, который требует чтения данных несколько раз.
Некоторые приложения требуют данных, которые случайным образом увеличиваются или преобразовываются. Например, datastore AugmentedImageDatastore
, от применения глубокого обучения увеличивает учебные данные изображения с рандомизированными операциями предварительной обработки, чтобы помочь препятствовать тому, чтобы сеть сверхсоответствовала и запомнила точные детали учебных изображений. Вывод этого datastore отличается каждый раз, когда вы выполняете операцию read
после вызова reset
.
FileDatastore
| ImageDatastore
| SpreadsheetDatastore
| TabularTextDatastore
| TallDatastore
| tall