Выберите Datastore for File Format или Application

Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. Каждый формат файла и приложение используют другой тип datastore, который содержит свойства, подходящие для типа данных или приложения, которое это поддерживает. MATLAB® обеспечивает хранилища данных для стандартных форматов файлов, таких как файлы Excel® и хранилища данных для определенных приложений, таких как Глубокое обучение. В дополнение к существующим хранилищам данных, если ваши данные находятся в собственном формате, то можно разработать индивидуально настраиваемый datastore с помощью пользовательской среды хранилища данных.

Хранилища данных для стандартных форматов файлов

Поскольку набор данных в стандартном формате файла использует одну из этих опций.

DatastoreОписание
TabularTextDatastore

Текстовые файлы, содержащие данные в столбцах, включая файлы CSV

SpreadsheetDatastore

Файлы электронной таблицы с поддерживаемым форматом Excel, такие как .xlsx

ImageDatastore

Файлы изображений, включая форматы, которые поддерживаются imread, таким как JPEG и PNG

ParquetDatastoreУстелите паркетом файлы, содержащие данные в столбцах
FileDatastore

Файлы с нестандартным форматом файла

Требует пользовательской функции чтения файла

Преобразуйте или объедините существующие хранилища данных.

DatastoreОписание
CombinedDatastoreDatastore, для объединения данных, считанных из нескольких базовых хранилищ данных
TransformedDatastoreDatastore, чтобы преобразовать базовый datastore

Хранилища данных, чтобы объединяться с MapReduce и длинными массивами.

DatastoreОписание
KeyValueDatastore

Данные о паре "ключ-значение", которые являются входными параметрами к или выходными параметрами mapreduce

TallDatastore

Datastore для выгрузки массивов tall

Хранилища данных для аудио и данных о базе данных требуют дополнительных тулбоксов.

DatastoreОписаниеНеобходимый тулбокс
AudioDatastore

Datastore для набора звуковых файлов

Audio Toolbox™
DatabaseDatastore

Datastore для наборов данных в реляционной базе данных

Database Toolbox™

Хранилища данных для определенных приложений

На основе вашего приложения используют одно из этих хранилищ данных.

ПриложениеDatastoreОписаниеНеобходимый тулбокс

Данные модели Simulink

SimulationDatastore

Datastore для входных и выходных данных симуляции, которые вы используете с моделью Simulink®

Simulink

Ансамбль симуляции и прогнозирующие данные об обслуживании

SimulationEnsembleDatastore

Datastore, чтобы управлять данными ансамбля симуляции

Predictive Maintenance Toolbox™

FileEnsembleDatastore

Datastore, чтобы управлять данными ансамбля в пользовательском формате файла

Predictive Maintenance Toolbox

Файлы Формата данных измерения (MDF)

MDFDatastore

Datastore для набора MDF-файлов

Vehicle Network Toolbox™

MDFDatastore

Datastore для набора MDF-файлов

Powertrain Blockset™

Глубокое обучение

Хранилища данных для предварительной обработки изображения или данных о последовательности

PixelLabelDatastore

Datastore для пикселя маркирует данные

Computer Vision Toolbox™ и Deep Learning Toolbox™

PixelLabelImageDatastore

Datastore для того, чтобы обучить семантические сети сегментации

Datastore недетерминирован

Computer Vision Toolbox и Deep Learning Toolbox

RandomPatchExtractionDatastore

Datastore для извлечения случайных закрашенных фигур от изображений или пикселя маркирует изображения

Datastore недетерминирован

Image Processing Toolbox™ и Deep Learning Toolbox

DenoisingImageDatastore

Datastore, чтобы обучить глубокую нейронную сеть шумоподавления изображений

Datastore недетерминирован

Image Processing Toolbox и Deep Learning Toolbox

AugmentedImageDatastore

Datastore для изменения размеров и увеличения учебных изображений

Datastore недетерминирован

Deep Learning Toolbox

Пользовательские форматы файлов

Для набора данных в пользовательском формате файла, если каждый отдельный файл умещается в памяти, FileDatastore использования наряду с вашей пользовательской функцией чтения файла. В противном случае разработайте свой собственный полностью индивидуально настраиваемый datastore для пользовательских или собственных данных с помощью класса matlab.io.Datastore. Смотрите Разрабатывают Пользовательский Datastore.

Недетерминированные хранилища данных

Хранилища данных, которые не возвращают те же самые данные для вызова функции read после вызова функции reset, являются недетерминированными хранилищами данных. Не используйте недетерминированные хранилища данных с массивами tall, mapreduce или любым другим кодом, который требует чтения данных несколько раз.

Некоторые приложения требуют данных, которые случайным образом увеличиваются или преобразовываются. Например, datastore AugmentedImageDatastore, от применения глубокого обучения увеличивает учебные данные изображения с рандомизированными операциями предварительной обработки, чтобы помочь препятствовать тому, чтобы сеть сверхсоответствовала и запомнила точные детали учебных изображений. Вывод этого datastore отличается каждый раз, когда вы выполняете операцию read после вызова reset.

Смотрите также

| | | | |

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте