Запись tall array в локальные и удаленные местоположения для проверки
write( использует расширение файла от filepattern,tA)filepattern определить выходной формат. filepattern должен включать папку, чтобы записать файлы в, сопровождаемый именем файла, которое включает подстановочный знак *. Подстановочный знак представляет инкрементные числа для генерации уникальных имен файлов. Например, write('folder/myfile_*.csv',tA).
write(___, задает дополнительные опции с одним или несколькими аргументами пары "имя-значение" с помощью любого из предыдущих синтаксисов. Например, можно задать тип файла с Name,Value)'FileType' и тип правильного файла ('mat', 'seq', 'parquet'Текст, или 'spreadsheet'), или можно задать пользовательскую функцию записи, чтобы обработать данные с 'WriteFcn' и указатель на функцию.
Запишите длинный массив в диск, и затем восстановите длинный массив путем создания нового datastore для записанных файлов. Этот процесс полезен, чтобы сохранить вашу работу или совместно использовать длинный массив с коллегой.
Создайте datastore для airlinesmall.csv набор данных. Выберите только Yearмесяц, и UniqueCarrier переменные и обработка 'NA' значения как недостающие данные. Преобразуйте datastore в длинную таблицу.
ds = datastore('airlinesmall.csv'); ds.TreatAsMissing = 'NA'; ds.SelectedVariableNames = {'Month','Year','UniqueCarrier'}; tt = tall(ds)
tt =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
: : :
: : :
Сортировка данных в порядке убывания к году и извлечению лучшие 25 строк. Получившаяся длинная таблица не оценена.
tt_new = topkrows(tt,25,'Year')tt_new =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
? ? ?
? ? ?
? ? ?
: : :
: : :
Preview deferred. Learn more.
Сохраните результаты в новую папку под названием ExampleData на C:\ диск. (Можно задать различное местоположение записи, особенно если вы не используете компьютер Windows®.) write функция оценивает длинный массив до записывания файлов, таким образом, нет никакой потребности использовать gather функция до сохранения данных.
location = 'C:\ExampleData';
write(location,tt_new)Writing tall data to folder C:\ExampleData Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.52 sec Evaluation completed in 1.2 sec
Очистите tt и ds из вашей рабочей директории. Чтобы восстановиться длинная таблица, которая была записана в диск, сначала создайте новый datastore, который ссылается на ту же директорию. Затем преобразуйте datastore в длинную таблицу. Поскольку длинная таблица была оценена прежде чем быть записанным в диск, отображение теперь включает предварительный просмотр значений.
clear tt ds ds2 = datastore(location); tt2 = tall(ds2)
tt2 =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
: : :
: : :
Составьте длинную таблицу, ссылающуюся на tsunamis.xlsx файл данных, который содержит данные с меткой времени о местоположении, величине и причине цунами.
ds = spreadsheetDatastore('tsunamis.xlsx');
T = tall(ds)T =
Mx20 tall table
Latitude Longitude Year Month Day Hour Minute Second ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths
________ _________ ____ _____ ___ ____ ______ ______ ____________ _________________________ _________ __________________ ___________________ ___________________ __________________________ _________ _____________ _________ _________ __________
-3.8 128.3 1950 10 8 3 23 NaN 2 {'questionable tsunami' } 1 {'Earthquake' } 7.6 {'INDONESIA' } {'JAVA TRENCH, INDONESIA'} 2.8 1.5 1.5 NaN NaN
19.5 -156 1951 8 21 10 57 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 6.9 {'USA' } {'HAWAII' } 3.6 1.8 NaN NaN NaN
-9.02 157.95 1951 12 22 NaN NaN NaN 2 {'questionable tsunami' } 6 {'Volcano' } NaN {'SOLOMON ISLANDS'} {'KAVACHI' } 6 2.6 NaN NaN NaN
42.15 143.85 1952 3 4 1 22 41 4 {'definite tsunami' } 1 {'Earthquake' } 8.1 {'JAPAN' } {'SE. HOKKAIDO ISLAND' } 6.5 2.7 2 33 1
19.1 -155 1952 3 17 3 58 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 4.5 {'USA' } {'HAWAII' } 1 NaN NaN NaN NaN
43.1 -82.4 1952 5 6 NaN NaN NaN 1 {'very doubtful tsunami'} 9 {'Meteorological'} NaN {'USA' } {'LAKE HURON, MI' } 1.52 NaN NaN NaN NaN
52.75 159.5 1952 11 4 16 58 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 9 {'RUSSIA' } {'KAMCHATKA' } 18 4.2 4 2236 3
50 156.5 1953 3 18 NaN NaN NaN 3 {'probable tsunami' } 1 {'Earthquake' } 5.8 {'RUSSIA' } {'N. KURIL ISLANDS' } 1.5 0.6 NaN NaN NaN
: : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : :
Объедините Yearмесяцденьчасминута, и Second переменные в одну переменную datetime, и затем удаляют те переменные из таблицы. Удалите любые строки, которые содержат недостающие данные.
T.DateTime = datetime(T.Year, T.Month, T.Day, T.Hour, T.Minute, T.Second); T(:,3:8) = []; TT = rmmissing(T)
TT =
Mx15 tall table
Latitude Longitude ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths DateTime
________ _________ ____________ ____________________ _________ ____________________________ ___________________ _____________ ____________________________ _________ _____________ _________ _________ __________ ____________________
42.15 143.85 4 {'definite tsunami'} 1 {'Earthquake' } 8.1 {'JAPAN' } {'SE. HOKKAIDO ISLAND' } 6.5 2.7 2 33 1 04-Mar-1952 01:22:41
58.34 -136.52 4 {'definite tsunami'} 3 {'Earthquake and Landslide'} 8.3 {'USA' } {'SE. ALASKA, AK' } 524.26 4.6 5 5 1 10-Jul-1958 06:15:53
-39.5 -74.5 4 {'definite tsunami'} 1 {'Earthquake' } 9.5 {'CHILE' } {'CENTRAL CHILE' } 25 4.6 4 1260 3 22-May-1960 19:11:17
-6.8 -80.7 4 {'definite tsunami'} 1 {'Earthquake' } 6.8 {'PERU' } {'PERU' } 9 3.2 2.5 66 2 20-Nov-1960 22:01:56
61.1 -147.5 4 {'definite tsunami'} 3 {'Earthquake and Landslide'} 9.2 {'USA' } {'PRINCE WILLIAM SOUND, AK'} 67 6.1 5 221 3 28-Mar-1964 03:36:14
38.65 139.2 4 {'definite tsunami'} 1 {'Earthquake' } 7.5 {'JAPAN' } {'NW. HONSHU ISLAND' } 5.8 2.7 2 26 1 16-Jun-1964 04:01:44
0.2 119.8 4 {'definite tsunami'} 1 {'Earthquake' } 7.8 {'INDONESIA'} {'BANDA SEA' } 10 3.3 3 200 3 14-Aug-1968 22:14:19
-3.1 118.9 4 {'definite tsunami'} 1 {'Earthquake' } 6.9 {'INDONESIA'} {'MAKASSAR STRAIT' } 4 2 2 600 3 23-Feb-1969 00:36:56
: : : : : : : : : : : : : : :
: : : : : : : : : : : : : : :
Запишите таблицу как файл электронной таблицы к удаленному местоположению в устройстве хранения данных Amazon S3®. Чтобы читать или записать данные к Amazon S3, необходимо установить AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY переменные окружения с помощью учетных данных в учетной записи. Для получения дополнительной информации смотрите работу с Удаленными данными.
setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID'); setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY'); location = 's3://bucketname/preprocessedData/'; write(location, TT, 'FileType', 'spreadsheet')
Чтобы считать данные назад, используйте datastore указать на удаленное местоположение, где данные теперь находятся.
ds = datastore(location); tt = tall(ds);
Создайте и используйте пользовательскую функцию записи, чтобы записать данные в дополнительных форматах, которые непосредственно не поддержаны write, такой как файлы изображений.
Создайте datastore изображений, который ссылки вся выборка отображают в toolbox/matlab/demos папка. Выбранные изображения имеют расширения .jpg, .tif, и .png. Преобразуйте datastore в высокий массив ячеек.
demoFolder = fullfile(matlabroot,'toolbox','matlab','demos'); ds = imageDatastore(demoFolder,'FileExtensions',{'.jpg' '.tif' '.png'}); T = tall(ds);
Загрузите одно в память из изображений и отобразите его.
I = gather(T(1));
Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 3 sec Evaluation completed in 3.2 sec
imshow(I{1},'InitialMagnification',30)
write не поддерживает файлы изображений непосредственно, так чтобы выписать изображения в другом формате, необходимо создать новую функцию, чтобы обработать запись файла. Функция записи получает два входных параметров от write:
info структура, содержащая поля с информацией о текущем блоке данных. Можно использовать эти поля, чтобы создать собственное уникальное имя файла, или просто использовать SuggestedFilename поле, чтобы использовать имя, предложенное write.
data текущий блок данных, полученный при помощи read на datastore.
Функциональный imageWriter использует имя файла, предложенное write, и использование imwrite записать файлы изображений в диск как .jpg файлы. Сохраните эту функцию в своей текущей рабочей папке.
type imageWriterfunction imageWriter(info, data)
filename = info.SuggestedFilename;
imwrite(data{:}, filename)
end
Напишите изображения в datastore к новой папке под названием exampleImages на C:\ диск. (Можно использовать другое место, особенно если вы не используете компьютер Windows®.) Передают imageWriter как пользовательская функция записи использование 'WriteFcn' аргумент пары "имя-значение".
location = 'C:\exampleImages\image_*.jpg'; write(location, T, 'WriteFcn', @imageWriter)
Writing tall data to folder C:\exampleImages Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.71 sec Evaluation completed in 0.98 sec
Отобразите содержимое папки, где файлы были записаны.
dir C:\exampleImages. image_1_000001.jpg image_3_000001.jpg image_5_000001.jpg .. image_2_000001.jpg image_4_000001.jpg image_6_000001.jpg
Чтобы считать изображения назад в MATLAB®, создайте datastore, который ссылается на то же местоположение.
ds = imageDatastore(location); T = tall(ds)
T =
6×1 tall cell array
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{ 480×640×3 uint8}
{ 480×640×3 uint8}
В некоторых случаях, write(location, T, 'FileType', type) создает файлы, которые не представляют исходный массив T точно. Если вы используете datastore(location) чтобы считать файлы, затем результат не может иметь того же формата или содержимого как исходная длинная таблица.
Для 'text' и 'spreadsheet' типы файлов, write использует эти правила:
write выходные числовые переменные с помощью longG формат и категориальный, символ или строковые переменные как закрывший кавычки текст.
Для нетекстовых переменных, которые имеют больше чем один столбец, write выходные параметры несколько разделенных от разделителя полей на каждой линии и построениях подходящие заголовки столбцов для первой линии файла.
write выходные переменные больше чем с двумя размерностями как двумерные переменные, со свернутыми последующими измерениями.
Для переменных со знаком ячейки с содержимым, которое является числовым, логическим, символ, или категориальным, write выводит содержимое каждой ячейки как одна строка, в нескольких разделенных от разделителя полях. Если ячейки имеют другой тип данных, write выводит одно пустое поле.
Не используйте 'text' или 'spreadsheet' типы файлов, если необходимо записать точную контрольную точку длинного массива.
Для 'parquet' тип файла, существуют некоторые случаи, где формат Паркета не может полностью представлять типы данных таблицы или расписания MATLAB. Если вы используете parquetread или datastore чтобы считать файлы, затем результат не может иметь того же формата или содержимого как исходная длинная таблица. Для получения дополнительной информации смотрите Отображения Типа данных Паркета Apache.
Используйте write функция, чтобы создать контрольные точки или снимки состояния ваших данных, как вы работаете, особенно при работе с огромными наборами данных. Эта практика позволяет вам восстанавливать длинные массивы непосредственно из файлов на диске вместо того, чтобы повторно выполнить все команды, которые произвели длинный массив.