Документация

Настройка доступа

Для работы с удаленными данными в Amazon S3 необходимо сначала настроить доступ:

При использовании Parallel Computing Toolbox™ необходимо убедиться, что кластер настроен на доступ к S3 службам. Можно скопировать переменные среды клиента в работников кластера, задав параметр EnvironmentVariables в parpool, batch, createJobили в диспетчере профилей кластера.

Чтение данных из Amazon S3

В следующем примере показано, как использовать ImageDatastore объект для чтения указанного изображения из Amazon S3, а затем отображения изображения на экран.

setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID'); 
setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY');

ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles', ...
  'IncludeSubfolders', true, 'LabelSource', 'foldernames'); 
img = ds.readimage(1);
imshow(img)

Запись данных в Amazon S3

В следующем примере показано, как использовать tabularTextDatastore объект для чтения табличных данных из S3 Amazon в массив высокого уровня, предварительной обработки, удаления отсутствующих записей и сортировки, а затем записи обратно в S3 Amazon.

setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID');
setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY');

ds = tabularTextDatastore('s3://bucketname/dataset/airlinesmall.csv', ...
  'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});
tt = tall(ds);
tt = sortrows(rmmissing(tt));
write('s3://bucketname/preprocessedData/',tt);

Чтобы прочитать ваши высокие данные обратно, используйте datastore функция.

ds = datastore('s3://bucketname/preprocessedData/');
tt = tall(ds);

Настройка доступа

Для работы с удаленными данными в хранилище Azure необходимо сначала настроить доступ:

При использовании панели инструментов параллельных вычислений необходимо скопировать переменные среды клиента для работников в кластере путем установки EnvironmentVariables в parpool, batch, createJobили в диспетчере профилей кластера.

Дополнительные сведения см. в разделе Использование хранилища Azure с кластерами Azure HDInsight.

Считывание данных из Azure

Чтобы считать данные из хранилища больших двоичных объектов Azure, укажите расположение с помощью следующего синтаксиса:

wasbs://container@account/path_to_file/file.ext

container@account - имя контейнера и path_to_file - путь к файлу или папкам.

Например, при наличии файла airlinesmall.csv в папке /airline в учетной записи тестового хранилища wasbs://blobContainer@storageAccount.blob.core.windows.net/, затем можно создать хранилище данных с помощью:

location = 'wasbs://blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv';

ds = tabularTextDatastore(location, 'TreatAsMissing', 'NA', ...
  'SelectedVariableNames', {'ArrDelay'});

Можно использовать Azure для поддержки всех хранилищ данных вычислений, включая прямое чтение, mapreduce, высокие массивы и глубокое обучение. Например, создайте ImageDatastore прочтите указанное изображение из хранилища данных, а затем отобразите изображение на экране.

setenv('MW_WASB_SAS_TOKEN', 'YOUR_WASB_SAS_TOKEN');  
ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/', ...
  'IncludeSubfolders', true, 'LabelSource', 'foldernames'); 
img = ds.readimage(1);
imshow(img)

Запись данных в Azure

В этом примере показано, как считывать табличные данные из Azure в массив высокого уровня с помощью tabularTextDatastore выполните предварительную обработку, удалив отсутствующие записи и сортировку, а затем запишите их обратно в Azure.

setenv('MW_WASB_SAS_TOKEN', 'YOUR_WASB_SAS_TOKEN');  

ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv', ...
  'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});
tt = tall(ds);
tt = sortrows(rmmissing(tt));
write('wasbs://YourContainer@YourAccount.blob.core.windows.net/preprocessedData/',tt);

Чтобы прочитать ваши высокие данные обратно, используйте datastore функция.

ds = datastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/preprocessedData/');
tt = tall(ds);

Укажите местоположение данных

MATLAB позволяет использовать распределенную файловую систему Hadoop (HDFS) в качестве веб-службы для хранения файлов. При указании расположения данных необходимо указать полный путь к файлам или папкам, используя унифицированный URL-адрес одной из следующих форм:

hdfs:/path_to_file

hdfs:///path_to_file

hdfs://hostname/path_to_file

hostname является именем хоста или сервера и path_to_file - путь к файлу или папкам. Указание hostname является необязательным. Если не указать hostname, Hadoop использует имя хоста по умолчанию, связанное с установкой распределенной файловой системы Hadoop (HDFS) в MATLAB.

Например, можно использовать любую из этих команд для создания хранилища данных для файла. file1.txt, в папке с именем data расположен на хосте с именем myserver:

Если hostname указывается, он должен соответствовать именоду, определенному fs.default.name в XML-файлах конфигурации Hadoop для кластера Hadoop.

При необходимости можно указать номер порта. Например, в этом расположении указывается хост с именем myserver с портом 7867, содержащий файл file1.txt в папке с именем data:

'hdfs://myserver:7867/data/file1.txt'

Указанный номер порта должен соответствовать номеру порта, заданному в конфигурации HDFS.

Задать переменную среды Hadoop

Перед чтением из HDFS используйте setenv для установки соответствующей переменной среды в папку, в которой установлен Hadoop. Эта папка должна быть доступна с текущего компьютера.

Например, эта команда используется для установки HADOOP_HOME переменная среды. hadoop-folder - папка, в которой установлен Hadoop, и /mypath/ - путь к этой папке.

setenv('HADOOP_HOME','/mypath/hadoop-folder');

Данные HDFS на Hortonworks или Cloudera

Если текущий компьютер имеет доступ к данным HDFS на Hortonworks или Cloudera ®, то не нужно устанавливать HADOOP_HOME или HADOOP_PREFIX переменные среды. MATLAB автоматически назначает эти переменные среды при использовании граничных узлов приложений Hortonworks или Cloudera.

Запретить удаление кода из памяти

При чтении из HDFS или при локальном чтении файлов Sequence datastore функция вызывает javaaddpath команда. Эта команда выполняет следующие действия:

Чтобы предотвратить удаление постоянных переменных, файлов кода или MEX-файлов, используйте mlock функция.

Запись данных в HDFS

В этом примере показано, как использовать tabularTextDatastore объект для записи данных в расположение HDFS. Используйте write функция для записи высоких и распределенных массивов в распределенную файловую систему Hadoop. При вызове этой функции в распределенном или высоком массиве необходимо указать полный путь к папке HDFS. В следующем примере показано, как считывать табличные данные из HDFS в массив высокого уровня, предварительно обрабатывать их путем удаления отсутствующих записей и сортировки, а затем записывать обратно в HDFS.

ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/airlinesmall.csv', ...
  'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});
tt = tall(ds);
tt = sortrows(rmmissing(tt));
write('hdfs://myserver/some/path/preprocessedData/',tt);

Чтобы прочитать ваши высокие данные обратно, используйте datastore функция.

ds = datastore('hdfs://myserver/some/path/preprocessedData/');
tt = tall(ds);