Выберите Datastore для формата файла или приложения

Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы помещаться в памяти. Каждый формат файла и приложение используют другой тип datastore, который содержит свойства, относящиеся к типу данных или приложению, которое он поддерживает. MATLAB® предоставляет хранилища данных для стандартных форматов файлов, таких как Excel® файлы и хранилища данных для конкретных приложений, такое как глубокое обучение. В дополнение к существующим хранилищам данных, если ваши данные находятся в фирменном формате, то можно разработать пользовательский хранилище данных с помощью пользовательской среды хранилища данных.

Хранилища данных для стандартных форматов файлов

Для набора данных в стандартном формате файла используйте один из следующих опций.

DatastoreОписание
TabularTextDatastore

Текстовые файлы, содержащие ориентированные на столбцы данные, включая файлы CSV

SpreadsheetDatastore

Файлы электронной таблицы с поддерживаемым форматом Excel, таким как .xlsx

ImageDatastore

Файлы изображений, включая форматы, которые поддерживаются imread такие как JPEG и PNG

ParquetDatastoreФайлы Parquet, содержащие ориентированные на столбцы данные
FileDatastore

Файлы с нестандартным форматом файла

Требуется пользовательская функция чтения файлов

Преобразуйте или объедините существующие хранилища данных.

DatastoreОписание
CombinedDatastoreDatastore, для объединения данных, считанных из нескольких базовых хранилищ данных
TransformedDatastoreDatastore, чтобы преобразовать базовый datastore

Хранилища данных для интеграции с MapReduce и длинные массивы.

DatastoreОписание
KeyValueDatastore

Данные пары "ключ-значение", которые являются входами или выходами mapreduce

TallDatastore

Datastore для выгрузки tall массивы

Хранилища данных для конкретных приложений

На основе вашего приложения используйте один из этих хранилищ данных.

ПриложениеDatastoreОписаниеТребуется тулбокс

Данные модели Simulink

SimulationDatastore (Simulink)

Datastore для входных и выходных данных симуляции, которые вы используете с Simulink® модель

Simulink

Ансамбль симуляции и прогнозирующие данные обслуживания

simulationEnsembleDatastore (Набор инструментов прогнозирующего обслуживания)

Datastore, для управления данными ансамбля симуляции

Predictive Maintenance Toolbox™

fileEnsembleDatastore (Набор инструментов прогнозирующего обслуживания)

Datastore, для управления данными ансамбля в пользовательском формате файла

Predictive Maintenance Toolbox

Файлы формата данных измерений (MDF)

mdfDatastore (Vehicle Network Toolbox)

Datastore для набора MDF-файлов

Vehicle Network Toolbox™

mdfDatastore (Powertrain Blockset)

Datastore для набора MDF-файлов

Powertrain Blockset™

Глубокое обучение

Хранилища данных для предварительной обработки изображений или данных последовательности

pixelLabelDatastore (Computer Vision Toolbox)

Datastore для данных о пиксельных метках

Computer Vision Toolbox™ и Deep Learning Toolbox™

pixelLabelImageDatastore (Computer Vision Toolbox)

Datastore для настройки сетей семантической сегментации

Datastore недетерминирован

Computer Vision Toolbox и Deep Learning Toolbox

boxLabelDatastore (Computer Vision Toolbox)

Datastore для данных метки ограничивающего прямоугольника

Computer Vision Toolbox и Deep Learning Toolbox

signalDatastore(Набор Signal Processing Toolbox)Datastore для набора файлов сигналов

Signal Processing Toolbox™ и набор Deep Learning Toolbox

randomPatchExtractionDatastore(Набор Image Processing Toolbox)

Datastore для извлечения случайных закрашенных фигур из изображений или изображений с меткой пикселя

Datastore недетерминирован

Image Processing Toolbox™ и набор инструментов глубокого обучения

denoisingImageDatastore(Набор Image Processing Toolbox)

Datastore, для обучения изображения, деноидирующего глубокую нейронную сеть

Datastore недетерминирован

Image Processing Toolbox и Deep Learning Toolbox

augmentedImageDatastore (Deep Learning Toolbox)

Datastore для изменения размера и увеличения обучающих изображений

Datastore недетерминирован

Deep Learning Toolbox

Аудио ДанныхaudioDatastore (Audio Toolbox)

Datastore для набора аудио файлов

Audio Toolbox™
Данные изображений за пределами памятиblockedImageDatastore(Набор Image Processing Toolbox)Datastore, для управления блоками одного изображения, которое слишком велико, чтобы помещаться в памятиImage Processing Toolbox
Данные базы данныхdatabaseDatastore (Тулбокс базы данных)

Datastore для наборов данных в реляционной базе данных

Database Toolbox™

Пользовательские форматы файлов

Для набора данных в пользовательском формате файла, если каждый отдельный файл помещается в памяти, используйте FileDatastore наряду с пользовательской функцией чтения файлов. В противном случае разработайте свой собственный полностью настроенный datastore для пользовательских или фирменных данных с помощью matlab.io.Datastore класс. См. «Разработка пользовательского Datastore».

Недетерминированные хранилища данных

Хранилища данных, которые не возвращают точно такие же данные для вызова в read функцию после вызова reset функция являются недетерминированными хранилищами данных. Не используйте недетерминированные хранилища данных с tall массивы, mapreduceили любой другой код, который требует чтения данных более одного раза.

Некоторым приложениям требуются данные, которые случайным образом увеличиваются или преобразуются. Для примера, augmentedImageDatastore (Deep Learning Toolbox) datastore, из применения глубокого обучения дополняет обучающие данные изображений рандомизированными операциями предварительной обработки, чтобы помочь предотвратить сверхподбор кривой сети и запоминание точных деталей обучающих изображений. Выход этого datastore отличается каждый раз, когда вы выполняете read операции после вызова на reset.

См. также

| | | | |

Похожие темы

Для просмотра документации необходимо авторизоваться на сайте