Хранилище данных - это хранилище для наборов данных, слишком больших для размещения в памяти. В каждом формате файла и приложении используется отдельный тип хранилища данных, который содержит свойства, относящиеся к типу данных или поддерживаемому им приложению. MATLAB ® предоставляет хранилища данных для стандартных форматов файлов, таких как файлы Excel ®, и хранилища данных для определенных приложений, таких как Deep Learning. В дополнение к существующим хранилищам данных, если данные имеют собственный формат, можно разработать настраиваемое хранилище данных с помощью пользовательской структуры хранилища данных.
Для сбора данных в стандартном формате файла используйте одну из этих опций.
| Хранилище данных | Описание |
|---|---|
TabularTextDatastore | Текстовые файлы, содержащие данные, ориентированные на столбцы, включая CSV-файлы |
SpreadsheetDatastore | Файлы электронных таблиц с поддерживаемым форматом Excel, например |
ImageDatastore | Файлы изображений, включая форматы, поддерживаемые |
ParquetDatastore | Файлы паркета, содержащие данные, ориентированные на столбцы |
FileDatastore | Файлы с нестандартным форматом файлов Требуется пользовательская функция чтения файлов |
Преобразование или объединение существующих хранилищ данных.
| Хранилище данных | Описание |
|---|---|
CombinedDatastore | Хранилище данных для объединения данных, считанных из нескольких базовых хранилищ данных |
TransformedDatastore | Хранилище данных для преобразования базового хранилища данных |
Хранилища данных для интеграции с массивами MapReduce и tall.
| Хранилище данных | Описание |
|---|---|
KeyValueDatastore | Данные пары ключ-значение, которые являются входами или выходами |
TallDatastore | Хранилище данных для контрольных точек |
В зависимости от приложения используйте одно из этих хранилищ данных.
| Приложение | Хранилище данных | Описание | Требуется панель инструментов |
|---|---|---|---|
Данные модели Simulink | SimulationDatastore (Симулинк) | Хранилище данных для моделирования входных и выходных данных, используемых с моделью Simulink ® | Simulink |
Ансамбль моделирования и прогнозные данные технического обслуживания | simulationEnsembleDatastore(Панель инструментов предиктивного обслуживания) | Хранилище данных для управления данными ансамбля моделирования | Прогнозное техническое обслуживание Toolbox™ |
fileEnsembleDatastore(Панель инструментов предиктивного обслуживания) | Хранилище данных для управления данными ансамбля в пользовательском формате файла | Инструментарий предиктивного обслуживания | |
Файлы формата данных измерений (MDF) | mdfDatastore(Панель инструментов сети транспортных средств) | Хранилище данных для сбора файлов MDF | Сеть транспортных средств Toolbox™ |
mdfDatastore (Блок силового агрегата) | Хранилище данных для сбора файлов MDF | Силовой агрегат Blockset™ | |
Глубокое обучение Хранилища данных для предварительной обработки изображения или данных последовательности | pixelLabelDatastore(Панель инструментов компьютерного зрения) | Хранилище данных для данных пиксельной метки | Компьютерное зрение Toolbox™ и глубокое обучение Toolbox™ |
pixelLabelImageDatastore(Панель инструментов компьютерного зрения) | Хранилище данных для обучения семантическим сетям сегментации Хранилище данных недетерминировано | Инструментарий для компьютерного зрения и инструментарий для глубокого обучения | |
boxLabelDatastore(Панель инструментов компьютерного зрения) | Хранилище данных для данных метки ограничивающей рамки | Инструментарий для компьютерного зрения и инструментарий для глубокого обучения | |
signalDatastore(Панель инструментов обработки сигналов) | Хранилище данных для сбора файлов сигналов | Toolbox™ обработки сигналов и инструментарий для глубокого обучения | |
randomPatchExtractionDatastore(Панель инструментов обработки изображений) | Хранилище данных для извлечения случайных исправлений из изображений или изображений меток пикселей Хранилище данных недетерминировано | Toolbox™ обработки изображений и инструментарий для глубокого обучения | |
denoisingImageDatastore(Панель инструментов обработки изображений) | Хранилище данных для обучения изображению, отрицающему глубокую нейронную сеть Хранилище данных недетерминировано | Панель инструментов обработки изображений и панель инструментов глубокого обучения | |
augmentedImageDatastore (инструментарий для глубокого обучения) | Хранилище данных для изменения размеров и увеличения количества обучающих изображений Хранилище данных недетерминировано | Инструментарий для глубокого обучения | |
| Аудиоданные | audioDatastore (Панель звуковых инструментов) | Хранилище данных для сбора аудиофайлов | Звуковые Toolbox™ |
| Данные образа из памяти | blockedImageDatastore(Панель инструментов обработки изображений) | Хранилище данных для управления блоками одного образа, слишком большого для размещения в памяти | Панель инструментов обработки изображений |
| Данные базы данных | databaseDatastore(Панель инструментов базы данных) | Хранилище данных для коллекций данных в реляционной базе данных | Toolbox™ базы данных |
Для набора данных в пользовательском формате, если каждый отдельный файл помещается в память, используйте FileDatastore вместе с пользовательской функцией чтения файлов. В противном случае разработайте собственное полностью настроенное хранилище данных для пользовательских или собственных данных с помощью matlab.io.Datastore класс. См. раздел Разработка пользовательского хранилища данных.
Хранилища данных, которые не возвращают точно такие же данные для вызова read после вызова reset функции являются недетерминированными хранилищами данных. Не использовать недетерминированные хранилища данных с tall массивы, mapreduce, или любой другой код, который требует чтения данных более одного раза.
Некоторые приложения требуют случайного увеличения или преобразования данных. Например, augmentedImageDatastore Хранилище данных (Deep Learning Toolbox) из приложения для глубокого обучения дополняет данные обучающих изображений рандомизированными операциями предварительной обработки, чтобы предотвратить переполнение сети и запоминание точных деталей обучающих изображений. Выходные данные этого хранилища данных различаются при каждом выполнении read операция после вызова reset.
FileDatastore | ImageDatastore | SpreadsheetDatastore | TabularTextDatastore | tall | TallDatastore