Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. Каждый формат файла и приложение используют другой тип datastore, который содержит свойства, подходящие для типа данных или приложения, которое это поддерживает. MATLAB® обеспечивает хранилища данных для стандартных форматов файлов, таких как файлы Excel® и хранилища данных для определенных приложений, таких как глубокое Изучение. В дополнение к существующим хранилищам данных, если ваши данные находится в собственном формате, то можно разработать индивидуально настраиваемый datastore с помощью пользовательской среды хранилища данных.
Поскольку набор данных в стандартном формате файла использует одну из этих опций.
| Datastore | Описание |
|---|---|
TabularTextDatastore | Текстовые файлы, содержащие данные в столбцах, включая файлы CSV |
SpreadsheetDatastore | Файлы электронной таблицы с поддерживаемым форматом Excel, такие как |
ImageDatastore | Файлы изображений, включая форматы, которые поддержаны |
FileDatastore | Файлы с нестандартным форматом файла Требует пользовательской функции чтения файла |
Хранилища данных, чтобы интегрироваться с MapReduce и длинными массивами.
| Datastore | Описание |
|---|---|
KeyValueDatastore | Данные пары "ключ-значение", которые являются входными параметрами к или выходными параметрами |
TallDatastore | Datastore для выгрузки массивов |
Хранилища данных для аудио и данных базы данных требуют дополнительных тулбоксов.
| Datastore | Описание | Необходимый тулбокс |
|---|---|---|
AudioDatastore | Datastore для набора звуковых файлов | Аудиосистема Toolbox™ |
DatabaseDatastore | Datastore для наборов данных в реляционной базе данных | База данных Toolbox™ |
На основе вашего приложения используют одно из этих хранилищ данных.
| Приложение | Datastore | Описание | Необходимый тулбокс |
|---|---|---|---|
Данные модели Simulink | SimulationDatastore | Datastore для данных ввода и вывода моделирования, которые вы используете с моделью Simulink® | Simulink |
Ансамбль моделирования и прогнозирующие данные обслуживания | SimulationEnsembleDatastore | Datastore, чтобы управлять данными ансамбля моделирования | Прогнозирующее обслуживание Toolbox™ |
FileEnsembleDatastore | Datastore, чтобы управлять данными ансамбля в пользовательском формате файла | Прогнозирующий тулбокс обслуживания | |
Файлы Формата данных измерения (MDF) | MDFDatastore | Datastore для набора файлов MDF | Сеть механизма Toolbox™ |
MDFDatastore | Datastore для набора файлов MDF | Трансмиссия Blockset™ | |
Глубоко изучение Хранилища данных для предварительной обработки изображения или данных последовательности | PixelLabelDatastore | Datastore для пикселя маркирует данные | Система компьютерного зрения Toolbox™ и глубоко изучение Toolbox™ |
PixelLabelImageDatastore | Datastore для учебных семантических сетей сегментации Datastore недетерминирован | Computer Vision System Toolbox и глубоко изучение тулбокса | |
RandomPatchExtractionDatastore | Datastore для извлечения случайных закрашенных фигур от изображений или пикселя маркирует изображения Datastore недетерминирован | Обработка изображений Toolbox™ и глубоко изучение тулбокса | |
DenoisingImageDatastore | Datastore, чтобы обучить изображение denoising глубокая нейронная сеть Datastore недетерминирован | Image Processing Toolbox и глубоко изучение тулбокса | |
AugmentedImageDatastore | Datastore для изменения размеров и увеличения учебных изображений Datastore недетерминирован | Глубоко изучение тулбокса |
Для набора данных в пользовательском формате файла, если каждый отдельный файл умещается в памяти, FileDatastore использования наряду с вашей пользовательской функцией чтения файла. В противном случае разработайте свой собственный полностью индивидуально настраиваемый datastore для пользовательских или собственных данных с помощью matlab.io.Datastore class., Видят, Разрабатывают Пользовательский Datastore.
Хранилища данных, которые не возвращают те же самые данные для вызова функции read после вызова функции reset, являются недетерминированными хранилищами данных. Не используйте недетерминированные хранилища данных с массивами tall, mapreduce или любым другим кодом, который требует чтения данных несколько раз.
Некоторые приложения требуют данных, который случайным образом увеличивается или преобразовывается. Например, datastore AugmentedImageDatastore, из глубокого приложения изучения увеличивает учебные данные изображения с рандомизированными операциями предварительной обработки, чтобы помочь препятствовать тому, чтобы сеть сверхсоответствовала и запомнила точные детали учебных изображений. Вывод этого datastore отличается каждый раз, когда вы выполняете операцию read после вызова reset.
FileDatastore | ImageDatastore | SpreadsheetDatastore | TabularTextDatastore | TallDatastore | высокий
