Разделите datastore
Создайте datastore для большого количества файлов. В данном примере используйте десять копий файла примера airlinesmall.csv. Чтобы обработать недостающие поля в табличных данных, задайте пары "имя-значение" TreatAsMissing и MissingValue.
files = repmat({'airlinesmall.csv'},1,10);
ds = tabularTextDatastore(files,...
'TreatAsMissing','NA','MissingValue',0);Разделите datastore в три части и возвратите первый раздел. partition функция возвращает приблизительно первую треть данных из datastore ds.
subds = partition(ds,3,1)
subds =
TabularTextDatastore with properties:
Files: {
' ...\matlab\toolbox\matlab\demos\airlinesmall.csv';
' ...\matlab\toolbox\matlab\demos\airlinesmall.csv';
' ...\matlab\toolbox\matlab\demos\airlinesmall.csv'
... and 1 more
}
FileEncoding: 'UTF-8'
AlternateFileSystemRoots: {}
ReadVariableNames: true
VariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
Text Format Properties:
NumHeaderLines: 0
Delimiter: ','
RowDelimiter: '\r\n'
TreatAsMissing: 'NA'
MissingValue: 0
Advanced Text Format Properties:
TextscanFormats: {'%f', '%f', '%f' ... and 26 more}
TextType: 'char'
ExponentCharacters: 'eEdD'
CommentStyle: ''
Whitespace: ' \b\t'
MultipleDelimitersAsOne: false
Properties that control the table returned by preview, read, readall:
SelectedVariableNames: {'Year', 'Month', 'DayofMonth' ... and 26 more}
SelectedFormats: {'%f', '%f', '%f' ... and 26 more}
ReadSize: 20000 rows
Files свойство datastore содержит список файлов, включенных в datastore. Проверяйте количество файлов в Files свойство datastore ds и разделенный datastore subds. Datastore ds содержит десять файлов и раздел subds содержит первые четыре файла.
length(ds.Files)
ans = 10
length(subds.Files)
ans = 4
Создайте datastore из файла примера, mapredout.mat, который является выходным файлом mapreduce функция.
ds = datastore('mapredout.mat');Получите количество по умолчанию разделов для ds.
n = numpartitions(ds);
Разделите datastore в количество по умолчанию разделов и возвратите datastore, соответствующий первому разделу.
subds = partition(ds,n,1);
Считайте данные в subds.
while hasdata(subds) data = read(subds); end
Создайте datastore, который содержит три файлов изображений.
ds = imageDatastore({'street1.jpg','peppers.png','corn.tif'})
ds =
ImageDatastore with properties:
Files: {
' ...\matlab\toolbox\matlab\demos\street1.jpg';
' ...\matlab\toolbox\matlab\imagesci\peppers.png';
' ...\matlab\toolbox\matlab\imagesci\corn.tif'
}
ReadSize: 1
Labels: {}
ReadFcn: @readDatastoreImage
Разделите datastore файлами и возвратите часть, соответствующую второму файлу.
subds = partition(ds,'Files',2)
subds =
ImageDatastore with properties:
Files: {
' ...\matlab\toolbox\matlab\imagesci\peppers.png'
}
ReadSize: 1
Labels: {}
ReadFcn: @readDatastoreImage
subds содержит один файл.
Создайте datastore из файла примера, mapredout.mat, который является выходным файлом mapreduce функция.
ds = datastore('mapredout.mat');Разделите datastore в три части на трех рабочих в параллельном пуле.
numWorkers = 3; p = parpool('local',numWorkers); n = numpartitions(ds,p); parfor ii=1:n subds = partition(ds,n,ii); while hasdata(subds) data = read(subds); end end
ds — Введите datastoreВведите datastore. Можно использовать datastore функция, чтобы создать datastore возражает из ваших данных.
n Количество разделовКоличество разделов в виде положительного целого числа.
Если вы задаете много разделов, который не является числовым фактором количества файлов в datastore, partition поместит каждое из остающихся наблюдений в существующих разделах, начиная с первого раздела.
Количество существующих разделов, которые содержат дополнительное наблюдение, равно остатку, полученному при делении количества файлов в datastore количеством разделов. Например, если ваш объект datastore содержит 23 файла, которые вы хотите разделить в 3 части, первые два раздела что partition создает будет содержать 8 файлов, и последний раздел будет содержать 7 файлов.
Пример 3
Типы данных: double
index — ИндексИндексируйте в виде положительного целого числа.
Пример 1
Типы данных: double
filename FileName Имя файла в виде вектора символов или строкового скаляра.
Значение filename должен совпадать точно с именем файла, содержавшимся в Files свойство datastore. Чтобы гарантировать, что имена файлов соответствуют точно, задайте filename использование ds.Files{N} где N индекс файла в Files свойство. Например, ds.Files{3} задает третий файл в datastore ds.
Пример: ds.Files{3}
Пример: 'file1.csv'
Пример: '../dir/data/file1.csv'
Пример: 'hdfs://myserver:7867/data/file1.txt'
Типы данных: char
subds — Выведите datastoreВыведите datastore. Выходной datastore имеет тот же тип как входной datastore ds.
У вас есть модифицированная версия этого примера. Вы хотите открыть этот пример со своими редактированиями?
1. Если смысл перевода понятен, то лучше оставьте как есть и не придирайтесь к словам, синонимам и тому подобному. О вкусах не спорим.
2. Не дополняйте перевод комментариями “от себя”. В исправлении не должно появляться дополнительных смыслов и комментариев, отсутствующих в оригинале. Такие правки не получится интегрировать в алгоритме автоматического перевода.
3. Сохраняйте структуру оригинального текста - например, не разбивайте одно предложение на два.
4. Не имеет смысла однотипное исправление перевода какого-то термина во всех предложениях. Исправляйте только в одном месте. Когда Вашу правку одобрят, это исправление будет алгоритмически распространено и на другие части документации.
5. По иным вопросам, например если надо исправить заблокированное для перевода слово, обратитесь к редакторам через форму технической поддержки.