Документация

Настройте доступ

Чтобы работать с удаленными данными в Amazon S3, необходимо настроить доступ сначала:

Если вы используете Parallel Computing Toolbox™, необходимо гарантировать, что кластер был сконфигурирован для доступа сервисы S3. Можно скопировать переменные клиентской среды в рабочих в кластере установкой EnvironmentVariables в parpool, batch, createJob, или в кластерном менеджере по профилю.

Считайте данные из Amazon S3

Следующий пример показывает, как использовать ImageDatastore возразите, чтобы считать заданное изображение из Amazon S3, и затем отобразить изображение, чтобы экранировать.

setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID'); 
setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY');

ds = imageDatastore('s3://bucketname/image_datastore/jpegfiles', ...
  'IncludeSubfolders', true, 'LabelSource', 'foldernames'); 
img = ds.readimage(1);
imshow(img)

Запись данных к Amazon S3

Следующий пример показывает, как использовать tabularTextDatastore возразите, чтобы считать табличные данные из Amazon S3 в длинный массив, предварительно обработать его путем удаления недостающих записей и сортировки, и затем записать его обратно к Amazon S3.

setenv('AWS_ACCESS_KEY_ID', 'YOUR_AWS_ACCESS_KEY_ID');
setenv('AWS_SECRET_ACCESS_KEY', 'YOUR_AWS_SECRET_ACCESS_KEY');

ds = tabularTextDatastore('s3://bucketname/dataset/airlinesmall.csv', ...
  'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});
tt = tall(ds);
tt = sortrows(rmmissing(tt));
write('s3://bucketname/preprocessedData/',tt);

Чтобы считать ваши высокие данные назад, используйте datastore функция.

ds = datastore('s3://bucketname/preprocessedData/');
tt = tall(ds);

Настройте доступ

Чтобы работать с удаленными данными в устройстве хранения данных Azure, необходимо настроить доступ сначала:

Если вы используете Parallel Computing Toolbox, необходимо скопировать переменные клиентской среды в рабочих в кластере установкой EnvironmentVariables в parpool, batch, createJob, или в кластерном менеджере по профилю.

Для получения дополнительной информации смотрите устройство хранения данных Azure Использования с кластерами Azure HDInsight.

Считайте данные из Azure

Чтобы считать данные из Места хранения Блоба Azure, задайте местоположение с помощью следующего синтаксиса:

wasbs://container@account/path_to_file/file.ext

container@account имя контейнера и path_to_file путь к файлу или папкам.

Например, если у вас есть файл airlinesmall.csv в папке /airline на тесте устройство хранения данных считают wasbs://blobContainer@storageAccount.blob.core.windows.net/, затем можно создать datastore при помощи:

location = 'wasbs://blobContainer@storageAccount.blob.core.windows.net/airline/airlinesmall.csv';

ds = tabularTextDatastore(location, 'TreatAsMissing', 'NA', ...
  'SelectedVariableNames', {'ArrDelay'});

Можно использовать Azure для всей поддержки хранилищ данных вычислений, включая непосредственное считывание, mapreduce, длинные массивы и глубокое обучение. Например, создайте ImageDatastore объект, считайте заданное изображение из datastore, и затем отобразите изображение, чтобы экранировать.

setenv('MW_WASB_SAS_TOKEN', 'YOUR_WASB_SAS_TOKEN');  
ds = imageDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/', ...
  'IncludeSubfolders', true, 'LabelSource', 'foldernames'); 
img = ds.readimage(1);
imshow(img)

Запись данных к Azure

В этом примере показано, как считать табличные данные из Azure в длинный массив с помощью tabularTextDatastore возразите, предварительно обработайте его путем удаления недостающих записей и сортировки, и затем запишите его обратно к Azure.

setenv('MW_WASB_SAS_TOKEN', 'YOUR_WASB_SAS_TOKEN');  

ds = tabularTextDatastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/dataset/airlinesmall.csv', ...
  'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});
tt = tall(ds);
tt = sortrows(rmmissing(tt));
write('wasbs://YourContainer@YourAccount.blob.core.windows.net/preprocessedData/',tt);

Чтобы считать ваши высокие данные назад, используйте datastore функция.

ds = datastore('wasbs://YourContainer@YourAccount.blob.core.windows.net/preprocessedData/');
tt = tall(ds);

Определение местоположения данных

MATLAB позволяет вам использовать Распределенную файловую систему Hadoop (HDFS) в качестве онлайнового веб-сервиса хранилища файлов. Когда вы задаете местоположение данных, необходимо задать полный путь к файлам или папкам с помощью универсального локатора ресурса (URL) одной из следующих форм:

hdfs:/path_to_file

hdfs:///path_to_file

hdfs://hostname/path_to_file

hostname имя хоста или сервера и path_to_file путь к файлу или папкам. Определение hostname является дополнительным. Когда вы не задаете hostname, Хэдуп использует имя хоста по умолчанию, сопоставленное с установкой Распределенной файловой системы Hadoop (HDFS) в MATLAB.

Например, можно использовать любую из этих команд, чтобы создать datastore для файла, file1.txt, в папке под названием data расположенный в хосте под названием myserver:

Если hostname задан, это должно соответствовать namenode, заданному fs.default.name свойство в конфигурационных XML-файлах Hadoop для вашего кластера Hadoop.

Опционально, можно включать номер порта. Например, это местоположение задает хост под названием myserver с портом 7867, содержа файл file1.txt в папке под названием data:

'hdfs://myserver:7867/data/file1.txt'

Заданный номер порта должен совпадать с набором номера порта в вашей настройке HDFS.

Установка переменной окружения Hadoop

Прежде, чем читать из HDFS, используйте setenv функционируйте, чтобы установить соответствующую переменную окружения на папку, где Hadoop установлен. Эта папка должна быть доступной от текущей машины.

Например, используйте эту команду, чтобы установить HADOOP_HOME переменная окружения. hadoop-folder папка, где Hadoop установлен, и /mypath/ путь к той папке.

setenv('HADOOP_HOME','/mypath/hadoop-folder');

Данные HDFS по Hortonworks или Cloudera

Если ваша текущая машина имеет доступ к данным HDFS по Hortonworks или Cloudera^®, то вы не должны устанавливать HADOOP_HOME или HADOOP_PREFIX переменные окружения. MATLAB автоматически присваивает эти переменные окружения при использовании узлов ребра приложения Hortonworks или Cloudera.

Предотвращение очищающегося кода из памяти

При чтении из HDFS или при чтении файлов Последовательности локально, datastore вызовы функции javaaddpath команда. Эта команда делает следующее:

Чтобы предотвратить персистентные переменные, файлы кода или файлы MEX от того, чтобы быть очищенным, используют mlock функция.

Запись данных к HDFS

В этом примере показано, как использовать tabularTextDatastore объект записать данные к местоположению HDFS. Используйте write функционируйте, чтобы записать ваши высокие и распределенные массивы в Распределенную файловую систему Hadoop. Когда вы вызываете эту функцию на распределенном или длинном массиве, необходимо задать полный путь к папке HDFS. Следующий пример показывает, как считать табличные данные из HDFS в длинный массив, предварительно обработать его путем удаления недостающих записей и сортировки, и затем записать его обратно к HDFS.

ds = tabularTextDatastore('hdfs://myserver/some/path/dataset/airlinesmall.csv', ...
  'TreatAsMissing', 'NA', 'SelectedVariableNames', {'ArrDelay'});
tt = tall(ds);
tt = sortrows(rmmissing(tt));
write('hdfs://myserver/some/path/preprocessedData/',tt);

Чтобы считать ваши высокие данные назад, используйте datastore функция.

ds = datastore('hdfs://myserver/some/path/preprocessedData/');
tt = tall(ds);