Запись длинный массив в локальные и удаленные местоположения для выгрузки
write( использует расширение файла от filepattern,tA)filepattern для определения формата выхода. filepattern должен включать папку для записи файлов, а затем имя файла, содержащее подстановочный символ *. Символ подстановки представляет инкрементные числа для генерации уникальных имен файлов. Для примера, write('folder/myfile_*.csv',tA).
write(___, задает дополнительные опции с одним или несколькими аргументами пары "имя-значение", используя любой из предыдущих синтаксисов. Для примера можно задать тип файла с Name,Value)'FileType' и допустимый тип файла ('mat', 'seq', 'parquet', 'text', или 'spreadsheet'), или можно задать пользовательскую функцию записи для обработки данных с помощью 'WriteFcn' и указатель на функцию.
Запись длинный массив на диск, а затем восстановление длинный массив путем создания нового datastore для записанных файлов. Этот процесс полезен, чтобы сохранить вашу работу или поделиться длинный массив с коллегой.
Создайте datastore для airlinesmall.csv набор данных. Выберите только Year, Month, и UniqueCarrier переменные и обработка 'NA' значения как отсутствующие данные. Преобразуйте datastore в длинная таблица.
ds = datastore('airlinesmall.csv'); ds.TreatAsMissing = 'NA'; ds.SelectedVariableNames = {'Month','Year','UniqueCarrier'}; tt = tall(ds)
tt =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
10 1987 'PS'
: : :
: : :
Отсортируйте данные в порядке убывания по годам и извлеките 25 лучших строк. Получившаяся длинная таблица не оценена.
tt_new = topkrows(tt,25,'Year')tt_new =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
? ? ?
? ? ?
? ? ?
: : :
: : :
Preview deferred. Learn more.
Сохраните результаты в новой папке с именем ExampleData на C:\ диск. (Вы можете задать другое расположение записи, особенно если вы не используете компьютер Windows ®.) The write функция оценивает длинный массив перед записью файлов, поэтому нет необходимости использовать gather функцию до сохранения данных.
location = 'C:\ExampleData';
write(location,tt_new)Writing tall data to folder C:\ExampleData Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.52 sec Evaluation completed in 1.2 sec
Очистить tt и ds из рабочей директории. Чтобы восстановить длинная таблица, который был записан на диск, сначала создайте новый datastore, который ссылается на ту же директорию. Затем преобразуйте datastore в длинная таблица. Поскольку длинная таблица оценивалась перед записью на диск, теперь дисплей включает предпросмотр значений.
clear tt ds ds2 = datastore(location); tt2 = tall(ds2)
tt2 =
M×3 tall table
Month Year UniqueCarrier
_____ ____ _____________
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
1 2008 'WN'
: : :
: : :
Создайте длинная таблица, ссылающийся на tsunamis.xlsx файл данных, который содержит штампованные по времени данные о местоположении, величине и причине цунами.
ds = spreadsheetDatastore('tsunamis.xlsx');
T = tall(ds)T =
Mx20 tall table
Latitude Longitude Year Month Day Hour Minute Second ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths
________ _________ ____ _____ ___ ____ ______ ______ ____________ _________________________ _________ __________________ ___________________ ___________________ __________________________ _________ _____________ _________ _________ __________
-3.8 128.3 1950 10 8 3 23 NaN 2 {'questionable tsunami' } 1 {'Earthquake' } 7.6 {'INDONESIA' } {'JAVA TRENCH, INDONESIA'} 2.8 1.5 1.5 NaN NaN
19.5 -156 1951 8 21 10 57 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 6.9 {'USA' } {'HAWAII' } 3.6 1.8 NaN NaN NaN
-9.02 157.95 1951 12 22 NaN NaN NaN 2 {'questionable tsunami' } 6 {'Volcano' } NaN {'SOLOMON ISLANDS'} {'KAVACHI' } 6 2.6 NaN NaN NaN
42.15 143.85 1952 3 4 1 22 41 4 {'definite tsunami' } 1 {'Earthquake' } 8.1 {'JAPAN' } {'SE. HOKKAIDO ISLAND' } 6.5 2.7 2 33 1
19.1 -155 1952 3 17 3 58 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 4.5 {'USA' } {'HAWAII' } 1 NaN NaN NaN NaN
43.1 -82.4 1952 5 6 NaN NaN NaN 1 {'very doubtful tsunami'} 9 {'Meteorological'} NaN {'USA' } {'LAKE HURON, MI' } 1.52 NaN NaN NaN NaN
52.75 159.5 1952 11 4 16 58 NaN 4 {'definite tsunami' } 1 {'Earthquake' } 9 {'RUSSIA' } {'KAMCHATKA' } 18 4.2 4 2236 3
50 156.5 1953 3 18 NaN NaN NaN 3 {'probable tsunami' } 1 {'Earthquake' } 5.8 {'RUSSIA' } {'N. KURIL ISLANDS' } 1.5 0.6 NaN NaN NaN
: : : : : : : : : : : : : : : : : : : :
: : : : : : : : : : : : : : : : : : : :
Объедините Year, Month, Day, Hour, Minute, и Second переменные в одну переменную datetime, а затем удалите их из таблицы. Удалите все строки, содержащие отсутствующие данные.
T.DateTime = datetime(T.Year, T.Month, T.Day, T.Hour, T.Minute, T.Second); T(:,3:8) = []; TT = rmmissing(T)
TT =
Mx15 tall table
Latitude Longitude ValidityCode Validity CauseCode Cause EarthquakeMagnitude Country Location MaxHeight IidaMagnitude Intensity NumDeaths DescDeaths DateTime
________ _________ ____________ ____________________ _________ ____________________________ ___________________ _____________ ____________________________ _________ _____________ _________ _________ __________ ____________________
42.15 143.85 4 {'definite tsunami'} 1 {'Earthquake' } 8.1 {'JAPAN' } {'SE. HOKKAIDO ISLAND' } 6.5 2.7 2 33 1 04-Mar-1952 01:22:41
58.34 -136.52 4 {'definite tsunami'} 3 {'Earthquake and Landslide'} 8.3 {'USA' } {'SE. ALASKA, AK' } 524.26 4.6 5 5 1 10-Jul-1958 06:15:53
-39.5 -74.5 4 {'definite tsunami'} 1 {'Earthquake' } 9.5 {'CHILE' } {'CENTRAL CHILE' } 25 4.6 4 1260 3 22-May-1960 19:11:17
-6.8 -80.7 4 {'definite tsunami'} 1 {'Earthquake' } 6.8 {'PERU' } {'PERU' } 9 3.2 2.5 66 2 20-Nov-1960 22:01:56
61.1 -147.5 4 {'definite tsunami'} 3 {'Earthquake and Landslide'} 9.2 {'USA' } {'PRINCE WILLIAM SOUND, AK'} 67 6.1 5 221 3 28-Mar-1964 03:36:14
38.65 139.2 4 {'definite tsunami'} 1 {'Earthquake' } 7.5 {'JAPAN' } {'NW. HONSHU ISLAND' } 5.8 2.7 2 26 1 16-Jun-1964 04:01:44
0.2 119.8 4 {'definite tsunami'} 1 {'Earthquake' } 7.8 {'INDONESIA'} {'BANDA SEA' } 10 3.3 3 200 3 14-Aug-1968 22:14:19
-3.1 118.9 4 {'definite tsunami'} 1 {'Earthquake' } 6.9 {'INDONESIA'} {'MAKASSAR STRAIT' } 4 2 2 600 3 23-Feb-1969 00:36:56
: : : : : : : : : : : : : : :
: : : : : : : : : : : : : : :
Запишите таблицу как файл электронной таблицы в удаленное место в хранилище Amazon S3 ®. Чтобы считать или записать данные в Amazon S3 необходимо задать AWS_ACCESS_KEY_ID и AWS_SECRET_ACCESS_KEY переменные окружения с использованием учетных данных для вашей учетной записи. Для получения дополнительной информации см. раздел Работа с удаленными данными.
setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID'); setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY'); location = 's3://bucketname/preprocessedData/'; write(location, TT, 'FileType', 'spreadsheet')
Чтобы считать данные назад, используйте datastore чтобы указать на удаленное место, где теперь находятся данные.
ds = datastore(location); tt = tall(ds);
Создайте и используйте пользовательскую функцию записи для записи данных в дополнительные форматы, которые не поддерживаются непосредственно write, таких как файлы изображений.
Создайте datastore, которое ссылается на все образцы изображений в toolbox/matlab/demos папка. Выбранные изображения имеют расширения .jpg, .tif, и .png. Преобразуйте datastore в tall массива ячеек.
demoFolder = fullfile(matlabroot,'toolbox','matlab','demos'); ds = imageDatastore(demoFolder,'FileExtensions',{'.jpg' '.tif' '.png'}); T = tall(ds);
Принесите одно из изображений в память и отобразите его.
I = gather(T(1));
Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 3 sec Evaluation completed in 3.2 sec
imshow(I{1},'InitialMagnification',30)
write не поддерживает непосредственно файлы изображений, поэтому, чтобы записать изображения в другом формате, необходимо создать новую функцию для обработки записи файлов. Функция записи получает два входа от write:
info - структура, содержащая поля с информацией о текущем блоке данных. Можно использовать эти поля для создания собственного уникального имени файла или просто использовать SuggestedFilename поле для использования имени, предложенного write.
data - текущий блок данных, полученный при помощи read на datastore.
Функция imageWriter использует имя файла, предложенное write, и использует imwrite чтобы записать файлы изображений на диск следующим .jpg файлы. Сохраните эту функцию в текущей рабочей папке.
type imageWriterfunction imageWriter(info, data)
filename = info.SuggestedFilename;
imwrite(data{:}, filename)
end
Запишите изображения в datastore в новую папку с именем exampleImages на C:\ диск. (Вы можете использовать другое место, особенно если вы не используете компьютер Windows ®.) Передайте imageWriter как пользовательская функция записи с использованием 'WriteFcn' аргумент пары "имя-значение".
location = 'C:\exampleImages\image_*.jpg'; write(location, T, 'WriteFcn', @imageWriter)
Writing tall data to folder C:\exampleImages Evaluating tall expression using the Local MATLAB Session: - Pass 1 of 1: Completed in 0.71 sec Evaluation completed in 0.98 sec
Отображение содержимого папки, в которой были записаны файлы.
dir C:\exampleImages. image_1_000001.jpg image_3_000001.jpg image_5_000001.jpg .. image_2_000001.jpg image_4_000001.jpg image_6_000001.jpg
Чтобы считать изображения обратно в MATLAB ®, создайте datastore, которое ссылается на то же место.
ds = imageDatastore(location); T = tall(ds)
T =
6×1 tall cell array
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{1024×2048×3 uint8}
{ 650×600×3 uint8}
{ 480×640×3 uint8}
{ 480×640×3 uint8}
В некоторых случаях write(location, T, 'FileType', type) создает файлы, которые не представляют исходный массив T точно. Если вы используете datastore(location) чтобы считать файлы, результат может иметь не такой формат или содержимое, как исходная длинная таблица.
Для 'text' и 'spreadsheet' типы файлов, write использует следующие правила:
write выводит числовые переменные с помощью longG формат и категориальные, символьные или строковые переменные в виде текста без кавычек.
Для нетекстовых переменных, которые имеют более одного столбца, write выводит несколько разделенных разделителем полей в каждой линии и создает подходящие заголовки столбца для первой линии файла.
write выводит переменные с более чем двумя размерностями как двумерные переменные с свёрнутыми последующими измерениями.
Для переменных, имеющих значение ячеек, с содержимым, которые являются числовыми, логическими, символьными или категориальными, write выводит содержимое каждой камеры как одну строку в нескольких разделенных разделителем полях. Если камеры имеют различные типы данных, write выводит одно пустое поле.
Не используйте 'text' или 'spreadsheet' типы файлов, если необходимо записать точную контрольную точку длинный массив.
Для 'parquet' тип файла, существуют случаи, когда формат Parquet не может полностью представлять таблицу MATLAB или типы данных timetable. Если вы используете parquetread или datastore чтобы считать файлы, результат может иметь не такой формат или содержимое, как исходная длинная таблица. Для получения дополнительной информации смотрите Apache Parquet Data Type Отображений.
Используйте write функция для создания контрольных точек или снимков ваших данных во время работы, особенно при работе с огромными наборами данных. Эта практика позволяет восстанавливать длинные массивы непосредственно из файлов на диске, а не повторно выполнять все команды, которые произвели длинный массив.