Запись массива высокого уровня в локальные и удаленные расположения для контрольных точек
write( использует расширение файла из filepattern,tA)filepattern для определения формата вывода. filepattern должна включать папку для записи файлов, за которой следует имя файла, содержащее подстановочный символ *. Подстановочный символ представляет инкрементные числа для создания уникальных имен файлов. Например, write('folder/myfile_*.csv',tA).
write(___, указывает дополнительные параметры с одним или несколькими аргументами пары имя-значение, использующими любой из предыдущих синтаксисов. Например, можно указать тип файла с помощью Name,Value)'FileType' и допустимый тип файла ('mat', 'seq', 'parquet', 'text', или 'spreadsheet'), или можно указать пользовательскую функцию записи для обработки данных с помощью 'WriteFcn' и дескриптор функции.
Запишите массив высокого уровня на диск, а затем восстановите массив высокого уровня, создав новое хранилище данных для записанных файлов. Этот процесс полезен для сохранения работы или совместного использования массива высокого уровня с коллегой.
Создание хранилища данных для airlinesmall.csv набор данных. Выберите только Year, Month, и UniqueCarrier переменные и лечить 'NA' значения как отсутствующие данные. Преобразование хранилища данных в таблицу высокого уровня.
ds = datastore('airlinesmall.csv'); ds.TreatAsMissing = 'NA'; ds.SelectedVariableNames = {'Month','Year','UniqueCarrier'}; tt = tall(ds)
tt =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
: : :
: : :
Сортируйте данные в порядке убывания по годам и извлеките первые 25 строк. Полученная таблица высот не оценивается.
tt_new = topkrows(tt,25,'Year')tt_new =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
? ? ?
? ? ?
? ? ?
: : :
: : :
Preview deferred. Learn more.
Сохранение результатов в новую папку с именем ExampleData на C:\ диск. (Можно указать другое место записи, особенно если вы не используете компьютер Windows ®.) write функция оценивает массив tall перед записью файлов, поэтому нет необходимости использовать gather перед сохранением данных.
location = 'C:\ExampleData';
write(location,tt_new)Writing tall data to folder C:\ExampleData Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.52 sec Evaluation completed in 1.2 sec
Ясно tt и ds из рабочего каталога. Чтобы восстановить таблицу высокого уровня, записанную на диск, сначала создайте новое хранилище данных, которое ссылается на тот же каталог. Затем преобразуйте хранилище данных в высокую таблицу. Поскольку таблица высокого уровня была оценена до записи на диск, теперь на экране отображается предварительный просмотр значений.
clear tt ds ds2 = datastore(location); tt2 = tall(ds2)
tt2 =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
: : :
: : :
Создание таблицы высокого уровня, ссылающейся на tsunamis.xlsx файл данных, содержащий данные с временной меткой о местоположении, величине и причине цунами.
ds = spreadsheetDatastore('tsunamis.xlsx');
T = tall(ds)T =
Mx20 tall table
Latitude Longitude Year Month Day Hour Minute Second ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths
________ _________ ____ _____ ___ ____ ______ ______ ____________ _________________________ _________ __________________ ___________________ ___________________ __________________________ _________ _____________ _________ _________ __________
-3.8 128.3 1950 10 8 3 23 NaN 2 {'questionable tsunami' } 1 {'Earthquake' } 7.6 {'INDONESIA' } {'JAVA TRENCH, INDONESIA'} 2.8 1.5 1.5 NaN NaN
19.5 -156 1951 8 21 10 57 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 6.9 {'USA' } {'HAWAII' } 3.6 1.8 NaN NaN NaN
-9.02 157.95 1951 12 22 NaN NaN NaN 2 {'questionable tsunami' } 6 {'Volcano' } NaN {'SOLOMON ISLANDS'} {'KAVACHI' } 6 2.6 NaN NaN NaN
42.15 143.85 1952 3 4 1 22 41 4 {'definite tsunami' } 1 {'Earthquake' } 8.1 {'JAPAN' } {'SE. HOKKAIDO ISLAND' } 6.5 2.7 2 33 1
19.1 -155 1952 3 17 3 58 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 4.5 {'USA' } {'HAWAII' } 1 NaN NaN NaN NaN
43.1 -82.4 1952 5 6 NaN NaN NaN 1 {'very doubtful tsunami'} 9 {'Meteorological'} NaN {'USA' } {'LAKE HURON, MI' } 1.52 NaN NaN NaN NaN
52.75 159.5 1952 11 4 16 58 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 9 {'RUSSIA' } {'KAMCHATKA' } 18 4.2 4 2236 3
50 156.5 1953 3 18 NaN NaN NaN 3 {'probable tsunami' } 1 {'Earthquake' } 5.8 {'RUSSIA' } {'N. KURIL ISLANDS' } 1.5 0.6 NaN NaN NaN
: : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : :
Объединить Year, Month, Day, Hour, Minute, и Second в одну переменную datetime, а затем удалите эти переменные из таблицы. Удалите все строки, содержащие отсутствующие данные.
T.DateTime = datetime(T.Year, T.Month, T.Day, T.Hour, T.Minute, T.Second); T(:,3:8) = []; TT = rmmissing(T)
TT =
Mx15 tall table
Latitude Longitude ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths DateTime
________ _________ ____________ ____________________ _________ ____________________________ ___________________ _____________ ____________________________ _________ _____________ _________ _________ __________ ____________________
42.15 143.85 4 {'definite tsunami'} 1 {'Earthquake' } 8.1 {'JAPAN' } {'SE. HOKKAIDO ISLAND' } 6.5 2.7 2 33 1 04-Mar-1952 01:22:41
58.34 -136.52 4 {'definite tsunami'} 3 {'Earthquake and Landslide'} 8.3 {'USA' } {'SE. ALASKA, AK' } 524.26 4.6 5 5 1 10-Jul-1958 06:15:53
-39.5 -74.5 4 {'definite tsunami'} 1 {'Earthquake' } 9.5 {'CHILE' } {'CENTRAL CHILE' } 25 4.6 4 1260 3 22-May-1960 19:11:17
-6.8 -80.7 4 {'definite tsunami'} 1 {'Earthquake' } 6.8 {'PERU' } {'PERU' } 9 3.2 2.5 66 2 20-Nov-1960 22:01:56
61.1 -147.5 4 {'definite tsunami'} 3 {'Earthquake and Landslide'} 9.2 {'USA' } {'PRINCE WILLIAM SOUND, AK'} 67 6.1 5 221 3 28-Mar-1964 03:36:14
38.65 139.2 4 {'definite tsunami'} 1 {'Earthquake' } 7.5 {'JAPAN' } {'NW. HONSHU ISLAND' } 5.8 2.7 2 26 1 16-Jun-1964 04:01:44
0.2 119.8 4 {'definite tsunami'} 1 {'Earthquake' } 7.8 {'INDONESIA'} {'BANDA SEA' } 10 3.3 3 200 3 14-Aug-1968 22:14:19
-3.1 118.9 4 {'definite tsunami'} 1 {'Earthquake' } 6.9 {'INDONESIA'} {'MAKASSAR STRAIT' } 4 2 2 600 3 23-Feb-1969 00:36:56
: : : : : : : : : : : : : : :
: : : : : : : : : : : : : : :
Запишите таблицу в виде файла электронной таблицы в удаленное расположение в хранилище Amazon S3 ®. Чтобы прочитать или записать данные в Amazon S3 необходимо установить AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY переменные среды, использующие учетные данные для вашей учетной записи. Дополнительные сведения см. в разделе Работа с удаленными данными.
setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID'); setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY'); location = 's3://bucketname/preprocessedData/'; write(location, TT, 'FileType', 'spreadsheet')
Для обратного считывания данных используйте datastore указывает на удаленное местоположение, в котором сейчас находятся данные.
ds = datastore(location); tt = tall(ds);
Создание и использование пользовательской функции записи для записи данных в дополнительных форматах, которые непосредственно не поддерживаются write, например, файлы изображений.
Создание хранилища данных изображений, ссылающегося на все образцы изображений в toolbox/matlab/demos папка. Выбранные изображения имеют расширения .jpg, .tif, и .png. Преобразование хранилища данных в массив с высокой ячейкой.
demoFolder = fullfile(matlabroot,'toolbox','matlab','demos'); ds = imageDatastore(demoFolder,'FileExtensions',{'.jpg' '.tif' '.png'}); T = tall(ds);
Поместите одно из изображений в память и отобразите его.
I = gather(T(1));
Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 3 sec Evaluation completed in 3.2 sec
imshow(I{1},'InitialMagnification',30)
write не поддерживает файлы изображений напрямую, поэтому для записи изображений в другом формате необходимо создать новую функцию для обработки записи файлов. Функция записи получает два входа от write:
info - структура, содержащая поля с информацией о текущем блоке данных. Эти поля можно использовать для создания собственного уникального имени файла или просто использовать SuggestedFilename для использования имени, предложенного write.
data - текущий блок данных, полученный с помощью read в хранилище данных.
Функция imageWriter использует имя файла, предложенное write, и использует imwrite чтобы записать файлы изображений на диск как .jpg файлы. Сохраните эту функцию в текущей рабочей папке.
type imageWriterfunction imageWriter(info, data)
filename = info.SuggestedFilename;
imwrite(data{:}, filename)
end
Запись изображений в хранилище данных в новую папку с именем exampleImages на C:\ диск. (Вы можете использовать другое расположение, особенно если вы не используете компьютер Windows ®.) ПроходimageWriter в качестве пользовательской функции записи с использованием 'WriteFcn' аргумент пары имя-значение.
location = 'C:\exampleImages\image_*.jpg'; write(location, T, 'WriteFcn', @imageWriter)
Writing tall data to folder C:\exampleImages Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.71 sec Evaluation completed in 0.98 sec
Отображение содержимого папки, в которую были записаны файлы.
dir C:\exampleImages. image_1_000001.jpg image_3_000001.jpg image_5_000001.jpg .. image_2_000001.jpg image_4_000001.jpg image_6_000001.jpg
Чтобы прочитать изображения в MATLAB ®, создайте хранилище данных, которое ссылается на то же самое местоположение.
ds = imageDatastore(location); T = tall(ds)
T =
6×1 tall cell array
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{ 480×640×3 uint8}
{ 480×640×3 uint8}
В некоторых случаях write(location, T, 'FileType', type) создает файлы, которые не представляют исходный массив T точно. Если вы используете datastore(location) для чтения файлов результат может не иметь того же формата или содержимого, что и исходная таблица высокого уровня.
Для 'text' и 'spreadsheet' типы файлов, write использует следующие правила:
write выводит числовые переменные с использованием longG формат и категориальные, символьные или строковые переменные как текст без кавычек.
Для нетекстовых переменных с несколькими столбцами: write выводит несколько разделителей в каждой строке и создает подходящие заголовки столбцов для первой строки файла.
write выводит переменные с более чем двумя измерениями в качестве двумерных переменных, а конечные размеры свернуты.
Для возвращающих значение ячейки переменных с содержимым, которое является числовым, логическим, символьным или категориальным, write выводит содержимое каждой ячейки в виде одной строки в нескольких полях, разделенных разделителями. Если ячейки имеют другой тип данных, write выводит одно пустое поле.
Не используйте 'text' или 'spreadsheet' если необходимо записать точную контрольную точку массива высокого уровня.
Для 'parquet' в некоторых случаях формат Parquet не может полностью представлять таблицы MATLAB или типы данных расписания. Если вы используете parquetread или datastore для чтения файлов результат может не иметь того же формата или содержимого, что и исходная таблица высокого уровня. Дополнительные сведения см. в разделе Сопоставления типов данных паркета Apache.
Используйте write функция для создания контрольных точек или снимков ваших данных в процессе работы, особенно при работе с огромными наборами данных. Эта практика позволяет восстанавливать массивы tall непосредственно из файлов на диске, а не повторно выполнять все команды, создавшие массив tall.