datastore

Создайте datastore для большого количества данных

Синтаксис

ds = datastore(location)

ds = datastore(location,Name,Value)

Описание

ds = datastore(location) создает datastore из набора данных, заданных location. Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. После создания ds, можно считать и обработать данные.

пример

ds = datastore(location,Name,Value) задает дополнительные параметры для ds использование одного или нескольких аргументов пары "имя-значение". Например, можно создать datastore для файлов изображений путем определения 'Type','image'.

Примеры

свернуть все

Создание Datastore для текстовых данных

Скрипт Open Live Script

Создайте datastore, сопоставленный с файлом примера airlinesmall.csv. Этот файл содержит данные авиакомпании с лет 1987 - 2008.

Чтобы управлять импортом недостающих данных в числовых столбцах, используйте "TreatAsMissing" и "MissingValue" аргументы name-value. Замените каждый экземпляр "NA" с 0 в импортированных данных путем определения значения "TreatAsMissing" как "NA" и значение "MissingValue" как 0.

ds = datastore("airlinesmall.csv","TreatAsMissing","NA",...
               "MissingValue",0)

ds = 
  TabularTextDatastore with properties:

                      Files: {
                             ' .../devel/bat/BR2021bd/build/matlab/toolbox/matlab/demos/airlinesmall.csv'
                             }
                    Folders: {
                             '/mathworks/devel/bat/BR2021bd/build/matlab/toolbox/matlab/demos'
                             }
               FileEncoding: 'UTF-8'
   AlternateFileSystemRoots: {}
         VariableNamingRule: 'modify'
          ReadVariableNames: true
              VariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
             DatetimeLocale: en_US

  Text Format Properties:
             NumHeaderLines: 0
                  Delimiter: ','
               RowDelimiter: '\r\n'
             TreatAsMissing: 'NA'
               MissingValue: 0

  Advanced Text Format Properties:
            TextscanFormats: {'%f', '%f', '%f' ... and 26 more}
                   TextType: 'char'
         ExponentCharacters: 'eEdD'
               CommentStyle: ''
                 Whitespace: ' \b\t'
    MultipleDelimitersAsOne: false

  Properties that control the table returned by preview, read, readall:
      SelectedVariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
            SelectedFormats: {'%f', '%f', '%f' ... and 26 more}
                   ReadSize: 20000 rows
                 OutputType: 'table'
                   RowTimes: []

  Write-specific Properties:
     SupportedOutputFormats: ["txt"    "csv"    "xlsx"    "xls"    "parquet"    "parq"]
        DefaultOutputFormat: "txt"

datastore создает TabularTextDatastore.

Создание Datastore для данных изображения

Скрипт Open Live Script

Создайте datastore, содержащий весь .tif файлы в пути MATLAB® и его подпапках.

ds = datastore(fullfile(matlabroot,"toolbox","matlab"),...
"IncludeSubfolders",true,"FileExtensions",".tif","Type","image")

ds = ImageDatastore with properties:
                       Files: {
                              'H:\21\nhossain.Bdoc21b.Mar25\matlab\toolbox\matlab\demos\example.tif';
                              'H:\21\nhossain.Bdoc21b.Mar25\matlab\toolbox\matlab\imagesci\corn.tif'
                              }
                     Folders: {
                              'H:\21\nhossain.Bdoc21b.Mar25\matlab\toolbox\matlab'
                              }
    AlternateFileSystemRoots: {}
                    ReadSize: 1
                      Labels: {}
      SupportedOutputFormats: ["png"    "jpg"    "jpeg"    "tif"    "tiff"]
         DefaultOutputFormat: "png"
                     ReadFcn: @readDatastoreImage

Входные параметры

свернуть все

`location` — Файлы или папки, чтобы включать в datastore
путь | `DsFileSet` объект

Файлы или папки включены в datastore в виде FileSet объект, как пути к файлам, или как DsFileSet объект.

FileSet объект — можно задать location как FileSet объект. Определение местоположения как FileSet объект приводит к более быстрому времени создания для хранилищ данных по сравнению с определением пути или DsFileSet объект. Для получения дополнительной информации смотрите matlab.io.datastore.FileSet.
Путь к файлу — можно задать один путь к файлу как вектор символов или строковый скаляр. Можно задать несколько путей к файлам как массив ячеек из символьных векторов или массив строк.
DsFileSet объект — можно задать DsFileSet объект. Для получения дополнительной информации смотрите matlab.io.datastore.DsFileSet.

Файлы или папки могут быть локальными или удаленными:

Локальные файлы или папки — Задают локальные пути к файлам или папкам. Если файлы не находятся в текущей папке, то задают полные или относительные пути. Файлы в подпапках заданной папки автоматически не включены в datastore. Можно использовать подстановочный символ (*) при определении локального пути. Этот символ указывает, что datastore включает все файлы соответствия или все файлы в соответствующих папках.
Удаленные файлы или папки — Задают полные пути к удаленным файлам или папкам как универсальный локатор ресурса (URL) формы hdfs:///path_to_file. Для получения дополнительной информации смотрите работу с Удаленными данными.

Когда вы задаете папку, datastore включает только файлы с поддерживаемыми форматами файлов и игнорирует файлы с любым другим форматом. Чтобы задать пользовательский список расширений файла, чтобы включать в ваш datastore, смотрите FileExtensions свойство.

Для KeyValueDatastore, файлами должны быть MAT-файлы или файлы Последовательности, сгенерированные mapreduce функция. MAT-файлы должны быть в локальной файловой системе или в сетевой файловой системе. Файлы последовательности могут быть в локальной, сетевой, или файловой системе HDFS™. Для DatabaseDatastore, аргумент местоположения не должен быть файлами. Для получения дополнительной информации смотрите DatabaseDatastore (Database Toolbox).

Пример: 'file1.csv'

Пример: '../dir/data/file1.jpg'

Пример: {'C:\dir\data\file1.xls','C:\dir\data\file2.xlsx'}

Пример: 'C:\dir\data\*.mat'

Пример: 'hdfs:///data/file1.txt'

Аргументы name-value

Задайте дополнительные разделенные запятой пары Name,Value аргументы. Name имя аргумента и Value соответствующее значение. Name должен появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.

Пример: 'FileExtensions',{'.jpg','.tif'} включает все расширения с .jpg или .tif расширение для ImageDatastore объект.

`Type` — Тип datastore
`'tabulartext'` | `'image'` | `'spreadsheet'` | `'keyvalue'` | `'file'` | `'tall'` | ...

Тип datastore в виде разделенной запятой пары, состоящей из 'Type' и одно из следующего:

Значение `'Type'`	Описание
`'tabulartext'`	Текстовые файлы, содержащие табличные данные. Кодирование данных должно быть ASCII или UTF-8.
`'image'`	Файлы изображений в формате, такие как JPEG или PNG. Приемлемые файлы включают `imformats` ' format ' .
`'spreadsheet'`	Файлы электронной таблицы, содержащие один или несколько листов.
`'keyvalue'`	Данные о паре "ключ-значение" содержатся в MAT-файлах или файлах Последовательности с данными, сгенерированными `mapreduce`.
`'file'`	Пользовательские файлы формата, которые требуют, чтобы заданная функция чтения считала данные. Для получения дополнительной информации смотрите `FileDatastore`.
`'tall'`	MAT-файлы или файлы Последовательности, произведенные `write` функция `tall` тип данных. Для получения дополнительной информации смотрите, `TallDatastore`.
`'parquet'`	Файлы Parquet, содержащие данные в столбцах. Для получения дополнительной информации смотрите, `ParquetDatastore`.
`'database'`	Данные хранимы в базе данных. Требует Database Toolbox™. Требует спецификации дополнительного входного параметра при использовании `type` параметр. Для получения дополнительной информации смотрите `DatabaseDatastore` (Database Toolbox).

Если существует несколько типов, которые поддерживают формат файлов, то используют 'Type' аргумент, чтобы задать тип хранилища данных.
Если вы не задаете значение для 'Type'то datastore автоматически определяет соответствующий тип datastore, чтобы создать на основе расширений файлов.

Типы данных: char | string

`IncludeSubfolders` — Включайте подпапки в папке
`true` или `false` | 0 или 1

Включайте подпапки в папке в виде разделенной запятой пары, состоящей из 'IncludeSubfolders' и true (1) или false (0). Задайте true включать все файлы и подпапки в каждой папке или false включать только файлы в каждой папке.

Когда вы не задаете 'IncludeSubfolders', затем значением по умолчанию является false.

'IncludeSubfolders' пара "имя-значение" только допустима при создании этих объектов:

TabularTextDatastore
ImageDatastore
SpreadsheetDatastore
FileDatastore
KeyValueDatastore
ParquetDatastore

Пример: 'IncludeSubfolders',true

Типы данных: логический | double

`FileExtensions` — Расширения файлов
вектор символов | массив ячеек из символьных векторов | строковый скаляр | массив строк

Расширения файлов в виде разделенной запятой пары, состоящей из 'FileExtensions' и вектор символов, массив ячеек из символьных векторов, строковый скаляр или массив строк. При определении 'FileExtensions', также задайте 'Type'. Можно использовать пустые кавычки '' представлять файлы без расширений.

Если 'FileExtensions' не задан, затем datastore автоматически включает все поддерживаемые расширения файла в зависимости от типа хранилища данных. Если вы хотите включать неподдерживаемые расширения, затем задать каждое расширение, вы хотите включать индивидуально.

Для TabularTextDatastore объекты, поддерживаемые расширения включают .txt, .csv, .dat, .dlm, .ascТекст, и никакое расширение.
Для ImageDatastore объекты, поддерживаемые расширения включают весь imformats расширения.
Для SpreadsheetDatastore объекты, поддерживаемые расширения включают .xls, .xlsx, .xlsm, .xltx, и .xltm.
Для TallDatastore объекты, поддерживаемые расширения включают .mat и .seq.
Для ParquetDatastore объекты, поддерживаемые расширения включают .parquet и .parq.

'FileExtensions' пара "имя-значение" только допустима при создании этих объектов:

TabularTextDatastore
ImageDatastore
SpreadsheetDatastore
FileDatastore
KeyValueDatastore
ParquetDatastore

Пример: 'FileExtensions','.jpg'

Пример: 'FileExtensions',{'.txt','.text'}

Типы данных: char | cell | string

`AlternateFileSystemRoots` — Альтернативные пути к корню файловой системы
представьте вектор в виде строки | массив ячеек

Альтернативные пути к корню файловой системы в виде аргумента значения имени, состоящего из "AlternateFileSystemRoots" и вектор строки или массив ячеек. Используйте "AlternateFileSystemRoots" когда вы создаете datastore на локальной машине, но должны получить доступ и обработать данные на другой машине (возможно различной операционной системы). Кроме того, при обрабатывании данных с помощью Parallel Computing Toolbox™ и MATLAB^® Parallel Server™ и данные хранятся на ваших локальных машинах с копией доступных данных в облаке другой платформы или кластерных машинах, необходимо использовать "AlternateFileSystemRoots" сопоставлять корневые пути.

Чтобы сопоставить набор корневых путей, которые эквивалентны друг другу, задайте "AlternateFileSystemRoots" как вектор строки. Например,
```
["Z:\datasets","/mynetwork/datasets"]
```
Чтобы сопоставить несколько наборов корневых путей, которые эквивалентны для datastore, задайте "AlternateFileSystemRoots" как массив ячеек, содержащий несколько строк, где каждая строка представляет набор эквивалентных корневых путей. Задайте каждую строку в массиве ячеек или как вектор строки или как массив ячеек из символьных векторов. Например:
- Задайте "AlternateFileSystemRoots" как массив ячеек векторов строки.
```
{["Z:\datasets", "/mynetwork/datasets"];...
 ["Y:\datasets", "/mynetwork2/datasets","S:\datasets"]}
```
- В качестве альтернативы задайте "AlternateFileSystemRoots" как массив ячеек массива ячеек из символьных векторов.
```
{{'Z:\datasets','/mynetwork/datasets'};...
 {'Y:\datasets', '/mynetwork2/datasets','S:\datasets'}}
```

Значение "AlternateFileSystemRoots" должен удовлетворить этим условиям:

Содержит одну или несколько строк, где каждая строка задает набор эквивалентных корневых путей.
Каждая строка задает несколько корневых путей, и каждый корневой путь должен содержать по крайней мере два символа.
Корневые пути уникальны и не являются подпапками друг друга.
Содержит по крайней мере одну корневую запись пути, которая указывает на местоположение файлов.

Для получения дополнительной информации смотрите Настроенный Datastore для Обработки на Различных Машинах или Кластерах.

Пример: ["Z:\datasets","/mynetwork/datasets"]

Типы данных: string | cell

`TextType` — Тип выходных данных текстовых переменных
`'char'` (значение по умолчанию) | `'string'`

Тип выходных данных текстовых переменных в виде разделенной запятой пары, состоящей из 'TextType' и любой 'char' или 'string'. Если выходная таблица от readreadall, или preview функции содержат текстовые переменные, затем 'TextType' задает тип данных тех переменных для TabularTextDatastore и SpreadsheetDatastore объекты только. Если 'TextType' ischar, затем выход является массивом ячеек из символьных векторов. Если 'TextType' isstring, затем выход имеет, вводят string.

Типы данных: char | string

`DatetimeType` — Введите для импортированных данных о дате и времени
`'datetime'` (значение по умолчанию) | `'text'`

Введите для импортированных данных о дате и времени в виде разделенной запятой пары, состоящей из 'DatetimeType' и одно из этих значений: 'datetime' или 'text'. 'DatetimeType' аргумент только применяется при создании TabularTextDatastore объект.

Значение Введите для импортированных данных о дате и времени

Значение	Введите для импортированных данных о дате и времени
`'datetime'`	MATLAB `datetime` тип данных Для получения дополнительной информации смотрите `datetime`.
`'text'`	Если `'DatetimeType'` задан как `'text'`, затем тип для импортированных данных о дате и времени зависит от значения, заданного в `'TextType'` параметр: Если `'TextType'` `ischar`, затем `datastore` возвращает даты как массив ячеек из символьных векторов. Если `'TextType'` `isstring`, затем `datastore` возвращает даты как массив строк.

'datetime'

MATLAB datetime тип данных

Для получения дополнительной информации смотрите datetime.

'text'

Если 'DatetimeType' задан как 'text', затем тип для импортированных данных о дате и времени зависит от значения, заданного в 'TextType' параметр:

Если 'TextType' ischar, затем datastore возвращает даты как массив ячеек из символьных векторов.
Если 'TextType' isstring, затем datastore возвращает даты как массив строк.

Пример: 'DatetimeType','datetime'

Типы данных: char | string

`DurationType` — Тип выходных данных данных о длительности
`'duration'` (значение по умолчанию) | `'text'`

Тип выходных данных данных о длительности из текстовых файлов в виде разделенной запятой пары, состоящей из 'DurationType' и любой 'duration' или 'text'.

Значение Введите для импортированных данных о длительности

Значение	Введите для импортированных данных о длительности
`'duration'`	MATLAB `duration` тип данных Для получения дополнительной информации смотрите `duration`.
`'text'`	Если `'DurationType'` задан как `'text'`, затем тип для импортированных данных о длительности зависит от значения, заданного в `'TextType'` параметр: Если `'TextType'` `ischar`, затем функция импорта возвращает данные о длительности как массив ячеек из символьных векторов. Если `'TextType'` `isstring`, затем функция импорта возвращает данные о длительности как массив строк.

'duration'

MATLAB duration тип данных

Для получения дополнительной информации смотрите duration.

'text'

Если 'DurationType' задан как 'text', затем тип для импортированных данных о длительности зависит от значения, заданного в 'TextType' параметр:

Если 'TextType' ischar, затем функция импорта возвращает данные о длительности как массив ячеек из символьных векторов.
Если 'TextType' isstring, затем функция импорта возвращает данные о длительности как массив строк.

Типы данных: char | string | datetime

`VariableNamingRule` — Отметьте, чтобы сохранить имена переменных
`"modify"` (значение по умолчанию) | `"preserve"`

Отметьте, чтобы сохранить имена переменных в виде любого "modify" или "preserve".

"modify" — Преобразуйте недопустимые имена переменных (как определено isvarname функция) к допустимым идентификаторам MATLAB.
"preserve" — Сохраните имена переменных, которые не являются допустимыми идентификаторами MATLAB, такими как имена переменных, которые включают символы non-ASCII и пробелы.

Начиная в R2019b, имена переменных и имена строки могут включать любые символы, включая символы non-ASCII и пробелы. Кроме того, они могут начать с любых символов, не только обозначает буквами. Переменная и имена строки не должны быть допустимыми идентификаторами MATLAB (как определено isvarname функция. Чтобы сохранить эти имена переменных и имена строки, установите значение VariableNamingRule к "preserve". Имена переменных не обновляются когда значение VariableNamingRule изменяется от "modify" к "preserve".

Типы данных: char | string

В дополнение к этим парам "имя-значение" также можно задать любое из свойств следующих объектов как пары "имя-значение", за исключением Files свойство:

Выходные аргументы

свернуть все

`ds` — Datastore для набора данных
`TabularTextDatastore` | `ImageDatastore` | `SpreadsheetDatastore` | `KeyValueDatastore` | `FileDatastore` | `TallDatastore` | ...

Datastore для набора данных, возвращенных как один из этих объектов: TabularTextDatastoreImageDatastoreSpreadsheetDatastoreKeyValueDatastorefileDatastoreTallDatastore, ParquetDatastore, или DatabaseDatastore. Тип datastore зависит от типа файлов или location аргумент. Для получения дополнительной информации кликните по имени хранилища данных в следующей таблице:

Ввод	Вывод
Текстовые файлы	`TabularTextDatastore`
Файлы изображений	`ImageDatastore`
Файлы электронной таблицы	`SpreadsheetDatastore`
MAT-файлы или файлы Последовательности производятся `mapreduce`	`KeyValueDatastore`
Пользовательские файлы формата	`FileDatastore`
MAT-файлы или файлы Последовательности, произведенные `write` функция `tall` тип данных.	`TallDatastore`
Файлы Parquet	`ParquetDatastore`
База данных	`DatabaseDatastore` (Database Toolbox)

Для каждых из этих типов хранилищ данных, Files свойство является массивом ячеек из символьных векторов. Каждый вектор символов является абсолютным путем к файлу, разрешенному location аргумент.

Темы

Введенный в R2014b

Документация

datastore

Синтаксис

Описание

Примеры

Создание Datastore для текстовых данных

Создание Datastore для данных изображения

Входные параметры

`location` — Файлы или папки, чтобы включать в datastore
путь | `DsFileSet` объект

Аргументы name-value

`Type` — Тип datastore
`'tabulartext'` | `'image'` | `'spreadsheet'` | `'keyvalue'` | `'file'` | `'tall'` | ...

`IncludeSubfolders` — Включайте подпапки в папке
`true` или `false` | 0 или 1

`FileExtensions` — Расширения файлов
вектор символов | массив ячеек из символьных векторов | строковый скаляр | массив строк

`AlternateFileSystemRoots` — Альтернативные пути к корню файловой системы
представьте вектор в виде строки | массив ячеек

`TextType` — Тип выходных данных текстовых переменных
`'char'` (значение по умолчанию) | `'string'`

`DatetimeType` — Введите для импортированных данных о дате и времени
`'datetime'` (значение по умолчанию) | `'text'`

`DurationType` — Тип выходных данных данных о длительности
`'duration'` (значение по умолчанию) | `'text'`

`VariableNamingRule` — Отметьте, чтобы сохранить имена переменных
`"modify"` (значение по умолчанию) | `"preserve"`

Выходные аргументы

`ds` — Datastore для набора данных
`TabularTextDatastore` | `ImageDatastore` | `SpreadsheetDatastore` | `KeyValueDatastore` | `FileDatastore` | `TallDatastore` | ...

Смотрите также

Темы

Документация MATLAB

Поддержка

Документация

datastore

Синтаксис

Описание

Примеры

Создание Datastore для текстовых данных

Создание Datastore для данных изображения

Входные параметры

location — Файлы или папки, чтобы включать в datastore путь | DsFileSet объект

Аргументы name-value

Type — Тип datastore 'tabulartext' | 'image' | 'spreadsheet' | 'keyvalue' | 'file' | 'tall' | ...

IncludeSubfolders — Включайте подпапки в папке true или false | 0 или 1

FileExtensions — Расширения файлов вектор символов | массив ячеек из символьных векторов | строковый скаляр | массив строк

AlternateFileSystemRoots — Альтернативные пути к корню файловой системы представьте вектор в виде строки | массив ячеек

TextType — Тип выходных данных текстовых переменных 'char' (значение по умолчанию) | 'string'

DatetimeType — Введите для импортированных данных о дате и времени 'datetime' (значение по умолчанию) | 'text'

DurationType — Тип выходных данных данных о длительности 'duration' (значение по умолчанию) | 'text'

VariableNamingRule — Отметьте, чтобы сохранить имена переменных "modify" (значение по умолчанию) | "preserve"

Выходные аргументы

ds — Datastore для набора данных TabularTextDatastore | ImageDatastore | SpreadsheetDatastore | KeyValueDatastore | FileDatastore | TallDatastore | ...

Смотрите также

Темы

Документация MATLAB

Поддержка

`location` — Файлы или папки, чтобы включать в datastore
путь | `DsFileSet` объект

`Type` — Тип datastore
`'tabulartext'` | `'image'` | `'spreadsheet'` | `'keyvalue'` | `'file'` | `'tall'` | ...

`IncludeSubfolders` — Включайте подпапки в папке
`true` или `false` | 0 или 1

`FileExtensions` — Расширения файлов
вектор символов | массив ячеек из символьных векторов | строковый скаляр | массив строк

`AlternateFileSystemRoots` — Альтернативные пути к корню файловой системы
представьте вектор в виде строки | массив ячеек

`TextType` — Тип выходных данных текстовых переменных
`'char'` (значение по умолчанию) | `'string'`

`DatetimeType` — Введите для импортированных данных о дате и времени
`'datetime'` (значение по умолчанию) | `'text'`

`DurationType` — Тип выходных данных данных о длительности
`'duration'` (значение по умолчанию) | `'text'`

`VariableNamingRule` — Отметьте, чтобы сохранить имена переменных
`"modify"` (значение по умолчанию) | `"preserve"`

`ds` — Datastore для набора данных
`TabularTextDatastore` | `ImageDatastore` | `SpreadsheetDatastore` | `KeyValueDatastore` | `FileDatastore` | `TallDatastore` | ...