Сохранение и загрузка частей переменных в MAT-файлах

Можно сохранить и загрузить части переменных непосредственно в MAT-файлах, не загружая их в память с помощью matfile функция. Первичное преимущество использования matfile функционируйте по load или save функции состоят в том, что можно обработать части очень больших наборов данных, которые являются в противном случае слишком большими, чтобы уместиться в памяти. При работе с этими большими переменными считайте и запишите как можно больше данных в память за один раз. В противном случае повторный доступ к файлу может негативно повлиять на эффективность вашего кода.

Сохраните и загрузите Используя matfile Функция

В этом примере показано, как загрузить, измените и сохраните часть переменной в существующем MAT-файле с помощью matfile функция.

Создайте MAT-файл Версии 7.3 с двумя переменными, A и B.

A = rand(5);
B = magic(10);
save example.mat A B -v7.3;
clear A B

Создайте MatFile объект из MAT-файла, example.mat. matfile функция создает MatFile объект, который соответствует MAT-файлу и содержит свойства MatFile объект. По умолчанию, matfile только загрузка разрешений из существующих MAT-файлов.

exampleObject = matfile('example.mat');

Чтобы позволить сохранить, вызовите matfile с Writable параметр.

exampleObject = matfile('example.mat','Writable',true);

В качестве альтернативы создайте объект и установите Properties.Writable на отдельных шагах.

exampleObject = matfile('example.mat');
exampleObject.Properties.Writable = true;

Загрузите первую строку B от example.mat в переменную firstRowB и измените данные. Когда вы индексируете в объекты, сопоставленные с MAT-файлами Версии 7.3, MATLAB® загружает только часть переменной, которую вы задаете.

firstRowB = exampleObject.B(1,:); 
firstRowB = 2 * firstRowB;

Обновите значения в первой строке переменной B в example.mat использование значений сохранено в firstRowB.

exampleObject.B(1,:) = firstRowB;

Для очень больших файлов лучшая практика состоит в том, чтобы считать и записать как можно больше данных в память за один раз. В противном случае повторный доступ к файлу негативно влияет на эффективность вашего кода. Например, предположите, что ваш файл содержит много строк и столбцов, и что загрузка одной строки требует большей части доступной памяти. Вместо того, чтобы обновлять один элемент за один раз, обновите каждую строку.

[nrowsB,ncolsB] = size(exampleObject,'B');
for row = 1:nrowsB
  exampleObject.B(row,:) = row * exampleObject.B(row,:);
end

Если память не является беспокойством, можно обновить целое содержимое переменной за один раз.

exampleObject.B = 10 * exampleObject.B;

В качестве альтернативы обновите переменную путем вызова save функция с -append опция. -append опция запрашивает что save функционируйте заменяют только заданную переменную, B, и оставьте другие переменные в файле неповрежденными. Этот метод всегда требует, чтобы вы загрузили и сохранили целую переменную.

load('example.mat','B');
B(1,:) = 2 * B(1,:);
save('example.mat','-append','B');

Добавьте переменную в файл с помощью matlab.io.MatFile объект.

exampleObject.C = magic(8);

Также можно добавить переменную путем вызова save функция с -append опция.

C = magic(8);
save('example.mat','-append','C');
clear C

Загрузка частей переменных динамически

В этом примере показано, как получить доступ к частям переменных из MAT-файла динамически. Это полезно при работе с MAT-файлами, имена переменных которых не всегда известны.

Рассмотрите MAT-файл в качестве примера, topography.mat, это содержит один или несколько массивов с неизвестными именами. Создайте MatFile объект, который соответствует файлу, topography.mat. Вызовите who получить имена переменных в файле.

exampleObject = matfile('topography.mat');
varlist = who(exampleObject)
varlist = 4x1 cell
    {'topo'      }
    {'topolegend'}
    {'topomap1'  }
    {'topomap2'  }

varlist массив ячеек, содержащий имена этих четырех переменных в topography.mat.

Третьи и четвертые переменные, topomap1 и topomap2, оба массивы, содержащие данные о топографии. Загрузите данные о вертикальном изменении из третьего столбца каждой переменной в поле массива структур, S. Для каждого поля задайте имя поля, которое является исходным именем переменной, снабженным префиксом elevationOf_. Затем получите доступ к данным в каждой переменной как свойства exampleObject. Поскольку varName переменная, заключите ее в круглые скобки.

for index = 3:4
    varName = varlist{index};
    S(1).(['elevationOf_',varName]) = exampleObject.(varName)(:,3);
end

Просмотрите содержимое массива структур, S.

S
S = struct with fields:
    elevationOf_topomap1: [64x1 double]
    elevationOf_topomap2: [128x1 double]

S имеет два поля, elevationOf_topomap1 и elevationOf_topomap2, каждый содержащий вектор-столбец.

Предотвращение непреднамеренно загружать целые переменные

Когда вы не знаете размера большой переменной в MAT-файле и хотите загрузить только части той переменной за один раз, избегать использования end ключевое слово. Используя end ключевое слово временно загружает целое содержимое рассматриваемой переменной в память. Для очень больших переменных загрузка занимает много времени или генерирует Out of Memory ошибки. Вместо этого вызовите size метод для MatFile объекты.

Например, этот код временно загружает целое содержимое B в памяти:

lastColB = exampleObject.B(:,end);

Используйте этот код вместо этого, чтобы улучшать производительность:

[nrows,ncols] = size(exampleObject,'B');
lastColB = exampleObject.B(:,ncols);

Точно так же любое время вы отсылаете к переменной с синтаксисом формы matObj.varName, такой как exampleObject.B, MATLAB® временно загружает целую переменную в память. Поэтому убедитесь, что вызвали size метод для MatFile объекты с синтаксисом, такие как:

[nrows,ncols] = size(exampleObject,'B');

вместо того, чтобы передавать целое содержимое exampleObject.B к size функция,

[nrows,ncols] = size(exampleObject.B);

Различие в синтаксисе является тонким, но значительным.

Частичная загрузка и сохранение требуют MAT-файлов версии 7.3

Любая загрузка или сохраняет операцию, которая использует MatFile объект, сопоставленный с Версией 7 или более ранним MAT-файлом временно, загружает целую переменную в память.

Используйте matfile функция, чтобы создать файлы в формате Версии 7.3. Например, этот код

newfile = matfile('newfile.mat');

создает MAT-файл, который поддерживает частичную загрузку и сохранение.

Однако по умолчанию, save функция создает MAT-файлы Версии 7. Преобразуйте существующие MAT-файлы в Версию 7.3 путем вызова save функция с -v7.3 опция, такая как:

load('durer.mat');
save('mycopy_durer.mat','-v7.3');

Чтобы изменить ваши настройки, чтобы сохранить новые файлы в формате Версии 7.3, получите доступ к разделу Environment по вкладке Home и нажмите Preferences. Выберите MATLAB> General> MAT-Files. Эта настройка не доступна в MATLAB Online™.

Смотрите также

| |

Похожие темы