Запись tall array в локальные и удаленные местоположения для проверки
write(location,tA)write(filepattern,tA)write(___,Name,Value)write( использует расширение файла от filepattern,tA)filepattern, чтобы определить выходной формат. filepattern должен включать папку, чтобы записать файлы в, сопровождаемый именем файла, которое включает подстановочный знак *. Подстановочный знак представляет инкрементные числа для генерации уникальных имен файлов. Например, write('folder/myfile_*.csv',tA).
write(___, задает дополнительные опции с одним или несколькими аргументами пары "имя-значение" с помощью любого из предыдущих синтаксисов. Например, можно задать тип файла с Name,Value)'FileType' и типом правильного файла ('mat', 'seq', 'parquet', 'text' или 'spreadsheet'), или можно задать пользовательскую функцию записи, чтобы обработать данные с 'WriteFcn' и указателем на функцию.
Запишите длинный массив в диск, и затем восстановите длинный массив путем создания нового datastore для записанных файлов. Этот процесс полезен, чтобы сохранить вашу работу или совместно использовать длинный массив с коллегой.
Создайте datastore для набора данных airlinesmall.csv. Выберите только Year, Month и переменные UniqueCarrier, и обработайте значения 'NA' как недостающие данные. Преобразуйте datastore в длинную таблицу.
ds = datastore('airlinesmall.csv'); ds.TreatAsMissing = 'NA'; ds.SelectedVariableNames = {'Month','Year','UniqueCarrier'}; tt = tall(ds)
tt =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
: : :
: : :
Сортировка данных в порядке убывания к году и извлечению лучшие 25 строк. Получившаяся длинная таблица не оценена.
tt_new = topkrows(tt,25,'Year')tt_new =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
? ? ?
? ? ?
? ? ?
: : :
: : :
Preview deferred. Learn more.
Сохраните результаты в новую папку под названием ExampleData на диске C:\. (Можно задать различное местоположение записи, особенно если вы не используете компьютер Windows®.) Функция write оценивает длинный массив до записывания файлов, таким образом, нет никакой потребности использовать функцию gather до сохранения данных.
location = 'C:\ExampleData';
write(location,tt_new)Writing tall data to folder C:\ExampleData Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.52 sec Evaluation completed in 1.2 sec
Очистите tt и ds из вашей рабочей директории. Чтобы восстановиться длинная таблица, которая была записана в диск, сначала создайте новый datastore, который ссылается на ту же директорию. Затем преобразуйте datastore в длинную таблицу. Поскольку длинная таблица была оценена прежде чем быть записанным в диск, отображение теперь включает предварительный просмотр значений.
clear tt ds ds2 = datastore(location); tt2 = tall(ds2)
tt2 =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
: : :
: : :
Составьте длинную таблицу, ссылающуюся на файл данных tsunamis.xlsx, который содержит данные с меткой времени о местоположении, значении и причине цунами.
ds = datastore('tsunamis.xlsx');
T = tall(ds)T =
Mx20 tall table
Latitude Longitude Year Month Day Hour Minute Second ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths
________ _________ ____ _____ ___ ____ ______ ______ ____________ _______________________ _________ ________________ ___________________ _________________ ________________________ _________ _____________ _________ _________ __________
-3.8 128.3 1950 10 8 3 23 NaN 2 'questionable tsunami' 1 'Earthquake' 7.6 'INDONESIA' 'JAVA TRENCH, INDONESIA' 2.8 1.5 1.5 NaN NaN
19.5 -156 1951 8 21 10 57 NaN 4 'definite tsunami' 1 'Earthquake' 6.9 'USA' 'HAWAII' 3.6 1.8 NaN NaN NaN
-9.02 157.95 1951 12 22 NaN NaN NaN 2 'questionable tsunami' 6 'Volcano' NaN 'SOLOMON ISLANDS' 'KAVACHI' 6 2.6 NaN NaN NaN
42.15 143.85 1952 3 4 1 22 41 4 'definite tsunami' 1 'Earthquake' 8.1 'JAPAN' 'SE. HOKKAIDO ISLAND' 6.5 2.7 2 33 1
19.1 -155 1952 3 17 3 58 NaN 4 'definite tsunami' 1 'Earthquake' 4.5 'USA' 'HAWAII' 1 NaN NaN NaN NaN
43.1 -82.4 1952 5 6 NaN NaN NaN 1 'very doubtful tsunami' 9 'Meteorological' NaN 'USA' 'LAKE HURON, MI' 1.52 NaN NaN NaN NaN
52.75 159.5 1952 11 4 16 58 NaN 4 'definite tsunami' 1 'Earthquake' 9 'RUSSIA' 'KAMCHATKA' 18 4.2 4 2236 3
50 156.5 1953 3 18 NaN NaN NaN 3 'probable tsunami' 1 'Earthquake' 5.8 'RUSSIA' 'N. KURIL ISLANDS' 1.5 0.6 NaN NaN NaN
: : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : :
Объедините Year, Month, Day, Hour, Minute и переменные Second в одну переменную datetime, и затем удалите те переменные из таблицы. Удалите любые строки, которые содержат недостающие данные.
T.DateTime = datetime(T.Year, T.Month, T.Day, T.Hour, T.Minute, T.Second); T(:,3:8) = []; TT = rmmissing(T)
TT =
Mx15 tall table
Latitude Longitude ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths DateTime
________ _________ ____________ __________________ _________ __________________________ ___________________ ___________ __________________________ _________ _____________ _________ _________ __________ ____________________
42.15 143.85 4 'definite tsunami' 1 'Earthquake' 8.1 'JAPAN' 'SE. HOKKAIDO ISLAND' 6.5 2.7 2 33 1 04-Mar-1952 01:22:41
58.34 -136.52 4 'definite tsunami' 3 'Earthquake and Landslide' 8.3 'USA' 'SE. ALASKA, AK' 524.26 4.6 5 5 1 10-Jul-1958 06:15:53
-39.5 -74.5 4 'definite tsunami' 1 'Earthquake' 9.5 'CHILE' 'CENTRAL CHILE' 25 4.6 4 1260 3 22-May-1960 19:11:17
-6.8 -80.7 4 'definite tsunami' 1 'Earthquake' 6.8 'PERU' 'PERU' 9 3.2 2.5 66 2 20-Nov-1960 22:01:56
61.1 -147.5 4 'definite tsunami' 3 'Earthquake and Landslide' 9.2 'USA' 'PRINCE WILLIAM SOUND, AK' 67 6.1 5 221 3 28-Mar-1964 03:36:14
38.65 139.2 4 'definite tsunami' 1 'Earthquake' 7.5 'JAPAN' 'NW. HONSHU ISLAND' 5.8 2.7 2 26 1 16-Jun-1964 04:01:44
0.2 119.8 4 'definite tsunami' 1 'Earthquake' 7.8 'INDONESIA' 'BANDA SEA' 10 3.3 3 200 3 14-Aug-1968 22:14:19
-3.1 118.9 4 'definite tsunami' 1 'Earthquake' 6.9 'INDONESIA' 'MAKASSAR STRAIT' 4 2 2 600 3 23-Feb-1969 00:36:56
: : : : : : : : : : : : : : :
: : : : : : : : : : : : : : :
Запишите таблицу как файл электронной таблицы к удаленному местоположению в устройстве хранения данных Amazon S3®. Чтобы читать или записать данные к Amazon S3, необходимо установить AWS_ACCESS_KEY_ID и переменные окружения AWS_SECRET_ACCESS_KEY с помощью учетных данных для учетной записи. Для получения дополнительной информации смотрите работу с Удаленными данными.
setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID'); setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY'); location = 's3://bucketname/preprocessedData/'; write(location, TT, 'FileType', 'spreadsheet')
Чтобы считать данные назад, используйте datastore, чтобы указать на удаленное местоположение, где данные теперь находятся.
ds = datastore(location); tt = tall(ds);
Создайте и используйте пользовательскую функцию записи, чтобы записать данные в дополнительных форматах, которые непосредственно не поддержаны write, таким как файлы изображений.
Создайте datastore изображений, который ссылки вся выборка отображают в папке toolbox/matlab/demos. Выбранные изображения имеют расширения .jpg, .tif и .png. Преобразуйте datastore в высокий массив ячеек.
demoFolder = fullfile(matlabroot,'toolbox','matlab','demos'); ds = imageDatastore(demoFolder,'FileExtensions',{'.jpg' '.tif' '.png'}); T = tall(ds);
Загрузите одно в память из изображений и отобразите его.
I = gather(T(1));
Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 3 sec Evaluation completed in 3.2 sec
imshow(I{1},'InitialMagnification',30)
write не поддерживает файлы изображений непосредственно, так чтобы выписать изображения в другом формате, необходимо создать новую функцию, чтобы обработать запись файла. Функция записи получает два входных параметров от write:
info является структурой, содержащей поля с информацией о текущем блоке данных. Можно использовать эти поля, чтобы создать собственное уникальное имя файла, или просто использовать поле SuggestedFilename, чтобы использовать имя, предложенное write.
data является текущим блоком данных, полученным при помощи read на datastore.
Функциональный imageWriter использует имя файла, предложенное write, и использует imwrite, чтобы записать файлы изображений в диск как файлы .jpg. Сохраните эту функцию в своей текущей рабочей папке.
type imageWriterfunction imageWriter(info, data)
filename = info.SuggestedFilename;
imwrite(data{:}, filename)
end
Напишите изображения в datastore к новой папке под названием exampleImages на диске C:\. (Можно использовать другое место, особенно если вы не используете компьютер Windows®.) Передают imageWriter как пользовательскую функцию записи использование аргумента пары "имя-значение" 'WriteFcn'.
location = 'C:\exampleImages\image_*.jpg'; write(location, T, 'WriteFcn', @imageWriter)
Writing tall data to folder C:\exampleImages Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.71 sec Evaluation completed in 0.98 sec
Отобразите содержимое папки, где файлы были записаны.
dir C:\exampleImages. image_1_000001.jpg image_3_000001.jpg image_5_000001.jpg .. image_2_000001.jpg image_4_000001.jpg image_6_000001.jpg
Чтобы считать изображения назад в MATLAB®, создайте datastore, который ссылается на то же местоположение.
ds = imageDatastore(location); T = tall(ds)
T =
6×1 tall cell array
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{ 480×640×3 uint8}
{ 480×640×3 uint8}
В некоторых случаях write(location, T, 'FileType', type) создает файлы, которые не представляют исходный массив T точно. Если вы используете datastore(location), чтобы считать файлы, то результат не может иметь того же формата или содержимого как исходная длинная таблица.
Для 'text' и типов файлов 'spreadsheet', write использует эти правила:
write выходные числовые переменные с помощью формата longG и категориальный, символ или строковые переменные как закрывший кавычки текст.
Для нетекстовых переменных, которые имеют больше чем один столбец, write выходные параметры несколько разделенных от разделителя полей на каждой строке и создают подходящие заголовки столбцов для первой строки файла.
write выходные переменные больше чем с двумя размерностями как двумерные переменные, со свернутыми последующими измерениями.
Для переменных со знаком ячейки с содержимым, которое является числовым, логическим, символ, или категориальным, write выходные параметры содержимое каждой ячейки как одна строка, в нескольких разделенных от разделителя полях. Если ячейки имеют различный тип данных, write выходные параметры одно пустое поле.
Не используйте 'text' или типы файлов 'spreadsheet', если необходимо записать точную контрольную точку длинного массива.
Для типа файла 'parquet' существуют некоторые случаи, где формат Паркета не может полностью представлять типы данных таблицы или расписания MATLAB. Если вы используете parquetread или datastore, чтобы считать файлы, то результат не может иметь того же формата или содержимого как исходная длинная таблица. Для получения дополнительной информации смотрите Отображения Типа данных Паркета Apache.
Используйте функцию write, чтобы создать контрольные точки или снимки состояния ваших данных, как вы работаете, особенно при работе с огромными наборами данных. Эта практика позволяет вам восстанавливать длинные массивы непосредственно из файлов на диске вместо того, чтобы повторно выполнить все команды, которые произвели длинный массив.