Создайте datastore для большого количества данных
ds = datastore(location)ds = datastore(location,Name,Value)ds = datastore(location) location. Datastore является репозиторием для наборов данных, которые являются слишком большими, чтобы уместиться в памяти. После создания ds можно считать и обработать данные.
ds = datastore(location,Name,Value) ds с помощью одного или нескольких аргументов в виде пар "имя-значение". Например, можно создать datastore для файлов изображений путем определения 'Type','image'.
Создайте datastore, сопоставленный с файлом примера airlinesmall.csv. Этот файл содержит данные авиакомпании с лет 1987 - 2008.
Чтобы управлять импортом недостающих данных в числовых столбцах, используйте аргумент в виде пар "имя-значение" 'TreatAsMissing'. В этом примере, задавая значение 'NA' для 'TreatAsMissing', заменяет каждый экземпляр 'NA' с NaN в импортированных данных. Где, NaN является значением, заданным в свойстве 'MissingValue' datastore.
ds = datastore('airlinesmall.csv', ... 'TreatAsMissing','NA')
ds =
TabularTextDatastore with properties:
Files: {
' .../devel/bat/BR2018bd/build/matlab/toolbox/matlab/demos/airlinesmall.csv'
}
FileEncoding: 'UTF-8'
AlternateFileSystemRoots: {}
ReadVariableNames: true
VariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
DatetimeLocale: en_US
Text Format Properties:
NumHeaderLines: 0
Delimiter: ','
RowDelimiter: '\r\n'
TreatAsMissing: 'NA'
MissingValue: NaN
Advanced Text Format Properties:
TextscanFormats: {'%f', '%f', '%f' ... and 26 more}
TextType: 'char'
ExponentCharacters: 'eEdD'
CommentStyle: ''
Whitespace: ' \b\t'
MultipleDelimitersAsOne: false
Properties that control the table returned by preview, read, readall:
SelectedVariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
SelectedFormats: {'%f', '%f', '%f' ... and 26 more}
ReadSize: 20000 rows
datastore создает TabularTextDatastore.
Создайте datastore, содержащий все файлы .tif в пути MATLAB® и его подпапках.
ds = datastore(fullfile(matlabroot, 'toolbox', 'matlab'),... 'IncludeSubfolders', true,'FileExtensions', '.tif','Type', 'image')
ds =
ImageDatastore with properties:
Files: {
' ...\matlab\toolbox\matlab\demos\example.tif';
' ...\matlab\toolbox\matlab\imagesci\corn.tif'
}
ReadSize: 1
Labels: {}
ReadFcn: @readDatastoreImage
местоположение Файлы или папки, чтобы включать в datastoreФайлы или папки, чтобы включать в datastore, заданный как вектор символа, массив ячеек из символьных векторов, представляют в виде строки скаляр или массив строк. Если файлы не находятся в текущей папке, то location должен быть полными или относительными путями. Файлы в подпапках заданной папки автоматически не включены в datastore.
Можно использовать подстановочный символ (*) при определении location. Этот символ указывает, что все файлы соответствия или все файлы в соответствующих папках включены в datastore.
Если файлы не доступны локально, то полный путь файлов или папок должен быть интернационализировавшим идентификатором ресурса (IRI), такой как
hdfs:///path_to_file
Для получения информации об использовании datastore с Amazon S3™ Устройство хранения данных Windows Azure® Blob и HDFS™, видят работу с Удаленными данными.
Для KeyValueDatastore файлами должны быть MAT-файлы или файлы Последовательности, сгенерированные функцией mapreduce. MAT-файлы должны быть в локальной файловой системе или в сетевой файловой системе. Файлы последовательности могут быть в локальной, сетевой, или файловой системе HDFS. Для DatabaseDatastore аргумент местоположения не должен быть файлами. Для получения дополнительной информации смотрите DatabaseDatastore.
Пример: 'file1.csv'
Пример: '../dir/data/file1.jpg'
Пример: C: \dir\data\file1.xls', 'C:\dir\data\file2.xlsx'}
Пример: C: \dir\data\*.mat'
Пример: 'hdfs:///data/file1. txt
Типы данных: char | ячейка | строка
Укажите необязательные аргументы в виде пар ""имя, значение"", разделенных запятыми. Имя (Name) — это имя аргумента, а значение (Value) — соответствующее значение. Имя должно появиться в кавычках. Вы можете задать несколько аргументов в виде пар имен и значений в любом порядке, например: Name1, Value1, ..., NameN, ValueN.
'FileExtensions' . jpg', '.tif'} включает все расширения с .jpg или .tif расширение для объекта ImageDatastore.Ввод Тип datastore'tabulartext' | 'image' | 'spreadsheet' | 'keyvalue' | 'file' | 'tall' |...Тип datastore, заданного как пара, разделенная запятой, состоящая из 'Type' и одно из следующего:
Значение 'Type' | Описание |
|---|---|
'tabulartext' | Текстовые файлы, содержащие табличные данные. Кодирование данных должно быть ASCII или UTF-8. |
изображение | Файлы изображений в формате, такие как JPEG или PNG. Приемлемые файлы включают форматы imformats. |
'spreadsheet' | Файлы электронной таблицы, содержащие один или несколько листов. |
'KeyValue' | Данные пары "ключ-значение" содержатся в MAT-файлах или файлах Последовательности с данными, сгенерированными mapreduce. |
'file' | Пользовательские файлы формата, которые требуют, чтобы заданная функция чтения считала данные. Для получения дополнительной информации смотрите FileDatastore. |
высокий | MAT-файлы или файлы Последовательности производятся функцией write типа данных tall. Для получения дополнительной информации смотрите, TallDatastore. |
'database' | Данные хранятся в базе данных. Требует Базы данных Toolbox™. Требует спецификации дополнительного входного параметра при использовании параметра type. Для получения дополнительной информации смотрите DatabaseDatastore. |
Если существует несколько типов, которые поддерживают формат файлов, то используют аргумент 'Type', чтобы задать тип хранилища данных.
Если вы не задаете значение для 'Type', то datastore автоматически определяет соответствующий тип datastore, чтобы создать на основе расширений файлов.
Типы данных: char | string
'IncludeSubfolders' — Include в папкеtrue или false | 0 или 1Включайте подпапки в папке, заданной как пара, разделенная запятой, состоящая из 'IncludeSubfolders' и true (1) или false (0). Задайте true, чтобы включать все файлы и подпапки в каждой папке или false, чтобы включать только файлы в каждой папке.
Когда вы не задаете 'IncludeSubfolders', затем значением по умолчанию является false.
Пара "имя-значение" 'IncludeSubfolders' только допустима при создании этих объектов:
TabularTextDatastore
ImageDatastore
SpreadsheetDatastore
FileDatastore
KeyValueDatastore
Пример: 'IncludeSubfolders', верный
Типы данных: логический | дважды
'FileExtensions' Расширения файловРасширения файлов, заданных как пара, разделенная запятой, состоящая из 'FileExtensions' и вектора символа, массива ячеек из символьных векторов, представляют в виде строки скаляр или массив строк. При определении 'FileExtensions' также задайте 'Type'. Можно использовать пустые кавычки '', чтобы представлять файлы без расширений.
Если 'FileExtensions' не задан, то datastore автоматически включает все поддерживаемые расширения файла в зависимости от типа хранилища данных. Если вы хотите включать неподдерживаемые расширения, затем задать каждое расширение, вы хотите включать индивидуально.
Для объектов TabularTextDatastore поддерживаемые расширения включают .txt txt . csv, .dat, .dlm, .asc, .text и никакое расширение.
Для объектов ImageDatastore поддерживаемые расширения включают все расширения imformats.
Для объектов SpreadsheetDatastore поддерживаемые расширения включают .xls, .xlsx, .xlsm, .xltx и .xltm.
Для объектов TallDatastore поддерживаемые расширения включают .mat и .seq.
Пара "имя-значение" 'FileExtensions' только допустима при создании этих объектов:
TabularTextDatastore
ImageDatastore
SpreadsheetDatastore
FileDatastore
KeyValueDatastore
Пример: 'FileExtensions' . jpg'
Пример: 'FileExtensions' . txt . текст
Типы данных: char | ячейка | строка
'AlternateFileSystemRoots' — Альтернативные пути к корню файловой системыАльтернативные пути к корню файловой системы, заданные как пара, разделенная запятой, состоящая из 'AlternateFileSystemRoots' и вектора строки или массива ячеек. Используйте 'AlternateFileSystemRoots', когда вы создадите datastore на локальной машине, но должны будете получить доступ и обработать данные на другой машине (возможно различной операционной системы). Кроме того, при обрабатывании данных с помощью Параллельных вычислений Toolbox™ и MATLAB® Distributed Computing Server™ и данные сохранены на локальных машинах с копией доступных данных на облаке другой платформы или кластерных машинах, необходимо использовать 'AlternateFileSystemRoots', чтобы сопоставить корневые пути.
Чтобы сопоставить набор корневых путей, которые эквивалентны друг другу, задайте 'AlternateFileSystemRoots' как вектор строки. Например,
["Z:\datasets","/mynetwork/datasets"]
Чтобы сопоставить несколько наборов корневых путей, которые эквивалентны для datastore, задайте 'AlternateFileSystemRoots' как массив ячеек, содержащий несколько строк, где каждая строка представляет набор эквивалентных корневых путей. Задайте каждую строку в массиве ячеек или как вектор строки или как массив ячеек из символьных векторов. Например:
Задайте 'AlternateFileSystemRoots' как массив ячеек векторов строки.
{["Z:\datasets", "/mynetwork/datasets"];...
["Y:\datasets", "/mynetwork2/datasets","S:\datasets"]}Также задайте 'AlternateFileSystemRoots' как массив ячеек массива ячеек из символьных векторов.
{{'Z:\datasets','/mynetwork/datasets'};...
{'Y:\datasets', '/mynetwork2/datasets','S:\datasets'}}
Значение 'AlternateFileSystemRoots' должно удовлетворить эти условия:
Содержит одну или несколько строк, где каждая строка задает набор эквивалентных корневых путей.
Каждая строка задает несколько корневых путей, и каждый корневой путь должен содержать по крайней мере два символа.
Корневые пути уникальны и не являются подпапками друг друга.
Содержит по крайней мере одну корневую запись пути, которая указывает на местоположение файлов.
Для получения дополнительной информации смотрите Настроенный Datastore для Обработки на Различных Машинах или Кластерах.
Пример: Z: \datasets"",/mynetwork/datasets"]
Типы данных: представьте в виде строки | ячейка
TextType Тип выходных данных текстовых переменных'char' (значение по умолчанию) | 'string'Тип выходных данных текстовых переменных, заданных как пара, разделенная запятой, состоящая из 'TextType' и или 'char' или 'string'. Если выходная таблица от read, readall или функций preview содержит текстовые переменные, то 'TextType' задает тип данных тех переменных для TabularTextDatastore, и SpreadsheetDatastore возражает только. Если 'TextType' является 'char', то вывод является массивом ячеек из символьных векторов. Если 'TextType' является 'string', то вывод имеет, вводят string.
Типы данных: char | string
'DatetimeType' Введите для импортированных данных даты и времени'datetime' (значение по умолчанию) | 'text'Введите для импортированных данных даты и времени, заданных как пара, разделенная запятой, состоящая из 'DatetimeType' и одно из этих значений: 'datetime' или 'text'. Аргумент 'DatetimeType' только применяется при создании объекта TabularTextDatastore.
| Значение | Введите для импортированных данных даты и времени |
|---|---|
datetime | MATLAB тип данных Для получения дополнительной информации смотрите |
Текст | Если
|
Пример: 'DatetimeType', 'datetime'
Типы данных: char | string
'DurationType' — Тип выходных данных данных длительности'duration' (значение по умолчанию) | 'text'Тип выходных данных данных длительности от текстовых файлов, заданных как пара, разделенная запятой, состоящая из 'DurationType' и или 'duration' или 'text'.
| Значение | Введите для импортированных данных длительности |
|---|---|
длительность | MATLAB тип данных Для получения дополнительной информации смотрите |
Текст | Если
|
Типы данных: char | string
В дополнение к этим парам "имя-значение" также можно задать любое из свойств следующих объектов как пары "имя-значение", за исключением свойства Files:
ds Datastore для набора данныхTabularTextDatastore | ImageDatastore | SpreadsheetDatastore | KeyValueDatastore | FileDatastore | TallDatastore |...Datastore для набора данных, возвращенных как один из этих объектов: TabularTextDatastore, ImageDatastore, SpreadsheetDatastore, KeyValueDatastore, FileDatastore, TallDatastore или DatabaseDatastore. Тип datastore зависит от типа файлов или аргумента location. Для получения дополнительной информации кликните по имени хранилища данных в следующей таблице:
| Ввод | Вывод |
|---|---|
| Текстовые файлы | TabularTextDatastore |
| Файлы изображений | ImageDatastore |
| Файлы электронной таблицы | SpreadsheetDatastore |
MAT-файлы или файлы Последовательности производятся mapReduce | KeyValueDatastore |
| Пользовательские файлы формата | FileDatastore |
MAT-файлы или файлы Последовательности производятся функцией write типа данных tall. | TallDatastore |
| База данных | DatabaseDatastore |
Для каждых из этих типов хранилищ данных свойство Files является массивом ячеек из символьных векторов. Каждый вектор символа является абсолютным путем к файлу, разрешенному аргументом location.
FileDatastore | ImageDatastore | SpreadsheetDatastore | TabularTextDatastore | imformats | javaaddpath | mapReduce | высокий
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.