Документация

Цифры

Набор данных цифр состоит из 10000 синтетических изображений рукописных цифр в градациях серого. Каждое изображение составляет 28 на 28 пикселей и имеет соответствующую метку, обозначающую, какую цифру представляет изображение (0-9). Каждое изображение повернуто на определенный угол. При загрузке изображений в виде массивов можно также загрузить угол поворота изображения.

Загрузите данные цифр как числовые массивы в памяти с помощью digitTrain4DArrayData и digitTest4DArrayData функции.

[XTrain,YTrain,anglesTrain] = digitTrain4DArrayData;
[XTest,YTest,anglesTest] = digitTest4DArrayData;

Примеры, показывающие, как обрабатывать эти данные для глубокого обучения, см. в разделах Мониторинг прогресса обучения глубокому обучению и обучение сверточной нейронной сети для регрессии.

Загрузите данные цифр как хранилище данных изображения с помощью imageDatastore и укажите папку, содержащую данные изображения.

dataFolder = fullfile(toolboxdir('nnet'),'nndemos','nndatasets','DigitDataset');
imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ....
    'LabelSource','foldernames');

Пример обработки этих данных для глубокого обучения см. в разделе Создание простой сети глубокого обучения для классификации.

MNIST

(Типичный пример)

Набор данных MNIST состоит из 70 000 рукописных цифр, разделенных на учебные и тестовые разделы по 60 000 и 10 000 изображений соответственно. Каждое изображение составляет 28 на 28 пикселей и имеет соответствующую метку, обозначающую, какую цифру представляет изображение (0-9).

Загрузите файлы MNIST из http://yann.lecun.com/exdb/mnist/ и загрузите набор данных в рабочую область. Для загрузки данных из файлов в виде массивов MATLAB поместите файлы в рабочий каталог, а затем используйте вспомогательные функции. processImagesMNIST и processLabelsMNIST, которые используются в примере Вариационный автокодер поезда (VAE) для генерации изображений.

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
filenameImagesTrain = 'train-images-idx3-ubyte.gz';
filenameLabelsTrain = 'train-labels-idx1-ubyte.gz';
filenameImagesTest = 't10k-images-idx3-ubyte.gz';
filenameLabelsTest = 't10k-labels-idx1-ubyte.gz';

XTrain = processImagesMNIST(filenameImagesTrain);
YTrain = processLabelsMNIST(filenameLabelsTrain);
XTest = processImagesMNIST(filenameImagesTest);
YTest = processLabelsMNIST(filenameLabelsTest);

Пример обработки этих данных для глубокого обучения см. в разделе Создание изображений с помощью вариационного автокодера (VAE).

Для восстановления пути используйте path функция.

path(oldpath);

Omniglot

Набор данных Omniglot содержит наборы символов для 50 алфавитов, разделенные на 30 наборов для обучения и 20 наборов для тестирования. Каждый алфавит содержит ряд символов, от 14 для оджибве (канадские учебные программы для аборигенов) до 55 для тифинаха. Наконец, каждый персонаж имеет 20 рукописных наблюдений.

Загрузите и извлеките набор данных Omniglot [1] из https://github.com/brendenlake/omniglot. Набор downloadFolder в расположение данных.

downloadFolder = tempdir;

url = "https://github.com/brendenlake/omniglot/raw/master/python";
urlTrain = url + "/images_background.zip";
urlTest = url + "/images_evaluation.zip";

filenameTrain = fullfile(downloadFolder,"images_background.zip");
filenameTest = fullfile(downloadFolder,"images_evaluation.zip");

dataFolderTrain = fullfile(downloadFolder,"images_background");
dataFolderTest = fullfile(downloadFolder,"images_evaluation");

if ~exist(dataFolderTrain,"dir")
    fprintf("Downloading Omniglot training data set (4.5 MB)... ")
    websave(filenameTrain,urlTrain);
    unzip(filenameTrain,downloadFolder);
    fprintf("Done.\n")
end

if ~exist(dataFolderTest,"dir")
    fprintf("Downloading Omniglot test data (3.2 MB)... ")
    websave(filenameTest,urlTest);
    unzip(filenameTest,downloadFolder);
    fprintf("Done.\n")
end

Для загрузки обучающих и тестовых данных в качестве хранилищ данных изображений используйте imageDatastore функция. Укажите метки вручную путем извлечения меток из имен файлов и установки параметра Labels собственность.

imdsTrain = imageDatastore(dataFolderTrain, ...
    'IncludeSubfolders',true, ...
    'LabelSource','none');

files = imdsTrain.Files;
parts = split(files,filesep);
labels = join(parts(:,(end-2):(end-1)),'_');
imdsTrain.Labels = categorical(labels);

imdsTest = imageDatastore(dataFolderTest, ...
    'IncludeSubfolders',true, ...
    'LabelSource','none');

files = imdsTest.Files;
parts = split(files,filesep);
labels = join(parts(:,(end-2):(end-1)),'_');
imdsTest.Labels = categorical(labels);

Пример обработки этих данных для глубокого обучения см. в разделе Подготовка сиамской сети к сравнению изображений.

Цветы

Титры изображений: [3] [4] [5] [6]

Набор данных Flowers содержит 3670 изображений цветов, относящихся к пяти классам (ромашка, одуванчик, розы, подсолнухи и тюльпаны).

Загрузите и извлеките набор данных Flowers [2] из http://download.tensorflow.org/example_images/flower_photos.tgz. Набор данных составляет около 218 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время. Набор downloadFolder в расположение данных.

url = 'http://download.tensorflow.org/example_images/flower_photos.tgz';
downloadFolder = tempdir;
filename = fullfile(downloadFolder,'flower_dataset.tgz');

dataFolder = fullfile(downloadFolder,'flower_photos');
if ~exist(dataFolder,'dir')
    fprintf("Downloading Flowers data set (218 MB)... ")
    websave(filename,url);
    untar(filename,downloadFolder)
    fprintf("Done.\n")
end

Загрузите данные как хранилище данных изображения с помощью imageDatastore и укажите папку, содержащую данные изображения.

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

Пример обработки этих данных для глубокого обучения см. в разделе Обучающая генеративная состязательная сеть (GAN).

Примеры изображений продуктов питания

Набор данных Example Food Images содержит 978 фотографий пищи девяти классов (caeser_salad, caprese_salad, french_fries, greek_salad, гамбургер, hot_dog, пицца, сашими и суши).

Загрузите набор данных Example Food Images с помощью downloadSupportFile и извлечь изображения с помощью unzip функция. Этот набор данных составляет около 77 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

fprintf("Downloading Example Food Image data set (77 MB)... ")
filename = matlab.internal.examples.downloadSupportFile('nnet', ...
    'data/ExampleFoodImageDataset.zip');
fprintf("Done.\n")

filepath = fileparts(filename);
dataFolder = fullfile(filepath,'ExampleFoodImageDataset');
unzip(filename,dataFolder);

Пример обработки этих данных для глубокого обучения см. в разделе Просмотр сетевого поведения с использованием tsne.

CIFAR-10

(Типичный пример)

Набор данных CIFAR-10 содержит 60 000 цветных изображений размером 32 на 32 пикселя, относящихся к 10 классам (самолет, автомобиль, птица, кот, олень, собака, лягушка, лошадь, корабль и грузовик).

На класс приходится 6000 изображений, и набор данных разделяется на обучающий набор с 50 000 изображений и тестовый набор с 10 000 изображений. Этот набор данных является одним из наиболее широко используемых наборов данных для тестирования новых моделей классификации изображений.

Загрузите и извлеките набор данных CIFAR-10 [7] из https://www.cs.toronto.edu/%7Ekriz/cifar-10-matlab.tar.gz. Набор данных составляет около 175 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время. Набор downloadFolder в расположение данных.

url = 'https://www.cs.toronto.edu/~kriz/cifar-10-matlab.tar.gz';
downloadFolder = tempdir;
filename = fullfile(downloadFolder,'cifar-10-matlab.tar.gz');

dataFolder = fullfile(downloadFolder,'cifar-10-batches-mat');
if ~exist(dataFolder,'dir')
    fprintf("Downloading CIFAR-10 dataset (175 MB)... ");
    websave(filename,url);
    untar(filename,downloadFolder);
    fprintf("Done.\n")
end

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
[XTrain,YTrain,XValidation,YValidation] = loadCIFARData(downloadFolder);

Пример обработки этих данных для глубокого обучения см. в разделе Train Resident Network for Image Classification.

Для восстановления пути используйте path функция.

path(oldpath);

MathWorks ® Merch

Это небольшой набор данных, содержащий 75 изображений товаров MathWorks, принадлежащих пяти различным классам (колпачок, куб, игральные карты, отвертка и факел). Этот набор данных можно использовать, чтобы быстро опробовать обучение переносу и классификацию изображений.

Изображения имеют размер 227-на-227-на-3.

Извлеките набор данных MathWorks Merch.

filename = 'MerchData.zip';

dataFolder = fullfile(tempdir,'MerchData');
if ~exist(dataFolder,'dir')
    unzip(filename,tempdir);
end

Загрузите данные как хранилище данных изображения с помощью imageDatastore и укажите папку, содержащую данные изображения.

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ....
    'LabelSource','foldernames');

Примеры обработки этих данных для глубокого обучения см. в разделах Начало работы с обучающими программами Transfer и Обучение сети глубокого обучения классификации новых изображений.

CamVid

Набор данных CamVid представляет собой совокупность изображений, содержащих виды на уровне улиц, полученные от управляемых автомобилей. Набор данных полезен для учебных сетей, которые выполняют семантическую сегментацию изображений и предоставляют пиксельные метки для 32 семантических классов, включая автомобильные, пешеходные и дорожные.

Изображения имеют размер 720-на-960-на-3.

Загрузите и извлеките набор данных CamVid [8] из http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData. Набор данных составляет около 573 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время. Набор downloadFolder в расположение данных.

downloadFolder = tempdir;
url = "http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData"
urlImages = url + "/files/701_StillsRaw_full.zip";
urlLabels = url + "/data/LabeledApproved_full.zip";

dataFolder = fullfile(downloadFolder,'CamVid');
dataFolderImages = fullfile(dataFolder,'images');
dataFolderLabels = fullfile(dataFolder,'labels');

filenameLabels = fullfile(dataFolder,'labels.zip');
filenameImages = fullfile(dataFolder,'images.zip');

if ~exist(filenameLabels, 'file') || ~exist(imagesZip,'file')   
    mkdir(dataFolder)
    
    fprintf("Downloading CamVid data set images (557 MB)... ");
    websave(filenameImages, urlImages);       
    unzip(filenameImages, dataFolderImages);
    fprintf("Done.\n")
   
    fprintf("Downloading CamVid data set labels (16 MB)... ");
    websave(filenameLabels, urlLabels);
    unzip(filenameLabels, dataFolderLabels);
    fprintf("Done.\n")
end

Загрузите данные как хранилище данных метки пикселя с помощью pixelLabelDatastore и укажите папку, содержащую данные метки, классы и идентификаторы метки. Чтобы облегчить обучение, сгруппируйте 32 исходных класса в наборе данных в 11 классов. Чтобы получить идентификаторы меток, используйте функцию помощника camvidPixelLabelIDs, которая используется в примере Семантическая сегментация с использованием глубокого обучения.

oldpath = addpath(fullfile(matlabroot,'examples','deeplearning_shared','main'));
imds = imageDatastore(dataFolderImages,'IncludeSubfolders',true);

classes = ["Sky" "Building" "Pole" "Road" "Pavement" "Tree" ...
    "SignSymbol" "Fence" "Car" "Pedestrian" "Bicyclist"];

labelIDs = camvidPixelLabelIDs;

pxds = pixelLabelDatastore(dataFolderLabels,classes,labelIDs);

Пример обработки этих данных для глубокого обучения см. в разделе Семантическая сегментация с использованием глубокого обучения.

Для восстановления пути используйте path функция.

path(oldpath);

Транспортное средство

Набор данных транспортного средства состоит из 295 изображений, содержащих один или два меченых экземпляра транспортного средства. Этот небольшой набор данных полезен для изучения YOLO-v2 процедуры обучения, но на практике для обучения надежного детектора необходимы более маркированные изображения.

Изображения имеют размер 720-на-960-на-3.

Извлеките набор данных транспортного средства. Набор dataFolder в расположение данных.

filename = 'vehicleDatasetImages.zip';

dataFolder = fullfile(tempdir,'vehicleImages');
if ~exist(dataFolder,'dir')
    unzip(filename,tempdir);
end

Загрузите набор данных в виде таблицы имен файлов и ограничивающих рамок из извлеченного файла MAT и преобразуйте имена файлов в абсолютные пути к файлам.

data = load('vehicleDatasetGroundTruth.mat');
vehicleDataset = data.vehicleDataset;

vehicleDataset.imageFilename = fullfile(tempdir,vehicleDataset.imageFilename);

Создайте хранилище данных изображения, содержащее изображения, и хранилище данных метки рамки, содержащее ограничивающие рамки, с помощью команды imageDatastore и boxLabelDatastore соответственно. Объединение результирующих хранилищ данных с помощью combine функция.

filenamesImages = vehicleDataset.imageFilename;
tblBoxes = vehicleDataset(:,'vehicle');

imds = imageDatastore(filenamesImages);
blds = boxLabelDatastore(tblBoxes);

cds = combine(imds,blds);

Пример обработки этих данных для глубокого обучения см. в разделе Обнаружение объектов с помощью глубокого обучения YOLO v2.

RIT-18

Набор данных RIT-18 содержит данные изображения, захваченные беспилотником над парком штата Хэмлин-Бич в штате Нью-Йорк. Данные содержат маркированные обучающие, проверочные и тестовые наборы с 18 метками класса объектов, включая дорожную разметку, дерево и здание.

Загрузите набор данных RIT-18 [9] из https://www.cis.rit.edu/%7Ermk6217/rit18_data.mat. Набор данных составляет около 3 ГБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время. Набор downloadFolder в расположение данных.

downloadFolder = tempdir;
url = 'http://www.cis.rit.edu/~rmk6217/rit18_data.mat';
filename = fullfile(downloadFolder,'rit18_data.mat');

if ~exist(filename,'file')
    fprintf("Downloading Hamlin Beach data set (3 GB)... ");
    websave(filename,url);
    fprintf("Done.\n")
end

Пример обработки этих данных для глубокого обучения см. в разделе Семантическая сегментация мультиспектральных изображений с помощью глубокого обучения.

BraTS

Набор данных BraTS содержит МРТ-сканирование опухолей головного мозга, а именно глиом, которые являются наиболее распространенными первичными злокачественными новообразованиями головного мозга.

Набор данных содержит 750 4-D томов, каждый из которых представляет стек 3-D изображений. Каждый 4-D объем имеет размер 240 на 240 на 155 на 4, где первые три измерения соответствуют высоте, ширине и глубине 3D объемного изображения. Четвертое измерение соответствует различным моделям сканирования. Набор данных разделен на 484 учебных тома с буквами вокселя и 266 тестовых томов.

Создайте каталог для хранения набора данных BraTS [10].

dataFolder = fullfile(tempdir,'BraTS');

if ~exist(dataFolder,'dir')
    mkdir(dataFolder);
end

Загрузите данные BraTS из Medical Segmentation Decathlon, щелкнув ссылку «Загрузить данные». Загрузите файл «Task01_BrainTumour.tar». Набор данных составляет около 7 ГБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

Извлеките файл TAR в каталог, указанный dataFolder переменная. Если извлечение выполнено успешно, то dataFolder содержит каталог с именем Task01_BrainTumour имеет три подкаталога: imagesTr, imagesTs, и labelsTr.

Для примера, показывающего, как обработать эти данные для глубокого изучения, посмотрите, что 3D Сегментация Опухоли головного мозга Использует Глубоко Изучение.

Camelyon16

Данные Camelyon16 вызова содержат в общей сложности 400 WSI лимфатических узлов из двух независимых источников, разделенных на 270 тренировочных изображений и 130 тестовых изображений. WSI хранятся в виде файлов TIF в разделенном формате с 11-уровневой структурой пирамид.

Набор обучающих данных состоит из 159 WSI нормальных лимфатических узлов и 111 изображений всего слайда (WSI) лимфатических узлов с опухолью и здоровой тканью. Обычно опухолевая ткань представляет собой небольшую часть здоровой ткани. Координаты истинности земли границ поражения сопровождают изображения опухоли.

Создайте каталоги для хранения набора данных Camelyon16 [11].

dataFolderTrain = fullfile(tempdir,'Camelyon16','training');
dataFolderNormalTrain = fullfile(dataFolderTrain,'normal');
dataFolderTumorTrain = fullfile(dataFolderTrain,'tumor');
dataFolderAnnotationsTrain = fullfile(dataFolderTrain,'lesion_annotations');

if ~exist(dataFolderTrain,'dir')
    mkdir(dataFolderTrain);
    mkdir(dataFolderNormalTrain);
    mkdir(dataFolderTumorTrain);
    mkdir(dataFolderAnnotationsTrain);
end

Загрузите Camelyon16 набор данных из Camelyon17, щелкнув первую ссылку «CAMELYON16 набор данных». Откройте каталог «Обучение» и выполните следующие действия:

Набор данных составляет около 2 ГБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

Пример, показывающий, как обрабатывать эти данные для глубокого обучения, см. в разделе Классификация изображений с большим множеством решений с использованием BlockedImage и Deep Learning.

Общие объекты в контексте (COCO)

(Типичный пример)

Набор данных изображений поезда COCO 2014 состоит из 82 783 изображений. Данные аннотаций содержат не менее пяти титров, соответствующих каждому изображению.

Создайте каталоги для хранения набора данных COCO.

dataFolder = fullfile(tempdir,"coco");
if ~exist(dataFolder,'dir')
    mkdir(dataFolder);
end

Загрузите и извлеките изображения поезда COCO 2014 и подписи из https://cocodataset.org/#download, щелкнув ссылки «Изображения поезда 2014» и «Аннотации поезда/значения 2014» соответственно. Сохранить данные в папке, указанной dataFolder.

Извлеките подписи из файла captions_train2014.json с использованием jsondecode функция.

filename = fullfile(dataFolder,"annotations_trainval2014","annotations", ...
    "captions_train2014.json");
str = fileread(filename);
data = jsondecode(str);

annotations поле структуры содержит данные, необходимые для субтитров изображения.

Пример обработки этих данных для глубокого обучения см. в разделе Captioning Using Attention.

TC-12 МАПР

(Типичный пример)

Эталонный тест IAPR TC-12 [12] состоит из 20 000 натурных изображений. Набор данных включает фотографии людей, животных, городов и многое другое. Размер файла данных составляет около 1,8 ГБ.

Загрузите набор данных IAPR TC-12.

dataDir = fullfile(tempdir,'iaprtc12');
url = 'http://www-i6.informatik.rwth-aachen.de/imageclef/resources/iaprtc12.tgz';

if ~exist(dataDir,'dir')
    fprintf('Downloading IAPR TC-12 data set (1.8 GB)...\n');
    try
        untar(url,dataDir);
    catch 
        % On some Windows machines, the untar command errors for .tgz
        % files. Rename to .tg and try again.
        fileName = fullfile(tempdir,'iaprtc12.tg');
        websave(fileName,url);
        untar(fileName,dataDir);
    end
    fprintf('Done.\n\n');
end

Загрузите данные как хранилище данных изображения с помощью imageDatastore функция. Укажите папку, содержащую данные изображения и расширения файла изображения.

imageDir = fullfile(dataDir,'images')
exts = {'.jpg','.bmp','.png'};
imds = imageDatastore(imageDir, ...
    'IncludeSubfolders',true, ...
    'FileExtensions',exts);

Пример обработки этих данных для глубокого обучения см. в разделе Суперразрешение одного изображения с помощью глубокого обучения.

Цюрихский RAW в RGB

Набор данных от цюрихского RAW до RGB [13] содержит 48 043 пространственно зарегистрированные пары исправлений обучающих изображений RAW и RGB размером 448 на 448. Набор данных содержит два отдельных тестовых набора. Один тестовый набор состоит из 1 204 пространственно зарегистрированных пар исправлений RAW и RGB изображений размером 448 на 448. Другой набор тестов состоит из незарегистрированных изображений RAW и RGB с полным разрешением. Размер набора данных составляет 22 ГБ.

Создайте каталог для хранения набора данных Zurich RAW в RGB.

imageDir = fullfile(tempdir,'ZurichRAWToRGB');
if ~exist(imageDir,'dir')
    mkdir(imageDir);
end 

Пример обработки этих данных для глубокого обучения см. в разделе Разработка конвейера обработки необработанных камер с использованием глубокого обучения.

ЖИТЬ в дикой природе

Набор данных LIVE In the Wild [14] состоит из 1162 фотографий, снятых мобильными устройствами, с 7 дополнительными обучающими изображениями. Каждое изображение оценивается в среднем 175 особями по шкале [1, 100]. Набор данных обеспечивает среднее и стандартное отклонение субъективных оценок для каждого изображения.

Создайте каталог для хранения набора данных LIVE In the Wild.

imageDir = fullfile(tempdir,"LIVEInTheWild");
if ~exist(imageDir,'dir')
    mkdir(imageDir);
end

Загрузите набор данных, следуя инструкциям, приведенным в разделе LIVE In the Wild Image Quality Challenge Database. Извлеките данные в каталог, указанный imageDir переменная. При успешном извлечении imageDir содержит два каталога: Data и Images.

Пример обработки этих данных для глубокого обучения см. в разделе Количественное определение качества изображения с помощью оценки нейронного изображения.

Японские гласные

Набор данных японских гласных [15] содержит предварительно обработанные [16]последовательности, представляющие высказывания японских гласных от разных говорящих.

XTrain и XTest - массивы ячеек, содержащие последовательности размерности 12 различной длины. YTrain и YTest являются категориальными векторами меток 1-9, которые соответствуют девяти носителям. Записи в XTrain это матрицы с 12 строками (по одной строке для каждого признака) и различным количеством столбцов (по одному столбцу для каждого временного шага). XTest - массив ячеек, содержащий 370 последовательностей размерности 12 переменной длины.

Загрузите набор данных японских гласных как массивы ячеек в памяти, содержащие числовые последовательности, используя japaneseVowelsTrainData и japaneseVowelsTestData функции.

[XTrain,YTrain] = japaneseVowelsTrainData;
[XTest,YTest] = japaneseVowelsTestData;

Пример обработки этих данных для глубокого обучения см. в разделе Классификация последовательностей с использованием глубокого обучения.

Ветрянка

Набор данных ветряной оспы содержит один временной ряд с временными шагами, соответствующими месяцам, и значениями, соответствующими количеству случаев. Выходные данные представляют собой массив ячеек, где каждый элемент представляет собой один временной шаг.

Загрузите данные ветряной оспы как одну числовую последовательность, используя chickenpox_dataset функция. Измените форму данных на вектор строки.

data = chickenpox_dataset;
data = [data{:}];

Пример обработки этих данных для глубокого обучения см. в разделе Прогнозирование временных рядов с использованием глубокого обучения.

Деятельность человека

Набор данных Human Activity содержит семь временных рядов данных датчиков, полученных со смартфона, надеваемого на тело. Каждая последовательность имеет три признака и варьирует по длине. Три характеристики соответствуют показаниям акселерометра в трех различных направлениях.

Загрузите набор данных «Деятельность персонала».

dataTrain = load('HumanActivityTrain');
dataTest = load('HumanActivityTest');

XTrain = dataTrain.XTrain;
YTrain = dataTrain.YTrain;
XTest = dataTest.XTest;
YTest = dataTest.YTest;

Пример обработки этих данных для глубокого обучения см. в разделе Классификация последовательности к последовательности с использованием глубокого обучения.

Моделирование деградации турбовентиляторного двигателя

Каждый временной ряд набора [17] данных моделирования деградации турбовентиляторного двигателя представляет собой другой двигатель. Каждый двигатель запускается с неизвестными степенями начального износа и изменения изготовления. Двигатель работает нормально в начале каждого временного ряда, и в какой-то момент во время серии возникает неисправность. В обучающем комплекте разлом нарастает по величине до отказа системы.

Данные содержат сжатые в формате ZIP текстовые файлы с 26 столбцами чисел, разделенными пробелами. Каждая строка представляет собой снимок данных, полученных в течение одного рабочего цикла, и каждый столбец является отдельной переменной. Столбцы соответствуют следующему:

Создайте каталог для хранения набора данных моделирования деградации турбовентиляторного двигателя.

dataFolder = fullfile(tempdir,"turbofan");
if ~exist(dataFolder,'dir')
    mkdir(dataFolder);
end

Загрузите и извлеките набор данных моделирования деградации турбовентиляторного двигателя из https://ti.arc.nasa.gov/tech/dash/groups/pcoe/prognostic-data-repository/.

Распакуйте данные из файла CMAPSSData.zip.

filename = "CMAPSSData.zip";
unzip(filename,dataFolder)

Загрузка данных обучения и тестирования с помощью вспомогательных функций processTurboFanDataTrain и processTurboFanDataTestсоответственно. Эти функции используются в примере Регрессия последовательности с использованием глубокого обучения.

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
filenamePredictors = fullfile(dataFolder,"train_FD001.txt");
[XTrain,YTrain] = processTurboFanDataTrain(filenamePredictors);

filenamePredictors = fullfile(dataFolder,"test_FD001.txt");
filenameResponses = fullfile(dataFolder,"RUL_FD001.txt");
[XTest,YTest] = processTurboFanDataTest(filenamePredictors,filenameResponses);

Пример обработки этих данных для глубокого обучения см. в разделе Регрессия последовательности к последовательности с использованием глубокого обучения.

Для восстановления пути используйте path функция.

path(oldpath);

Вызов PhysioNet 2017

Набор данных PhysioNet 2017 Challenge [19] состоит из набора записей электрокардиограммы (ЭКГ), отобранных на частоте 300 Гц и разделенных группой экспертов на различные классы.

Загрузите и извлеките набор данных PhysioNet 2017 Challenge с помощью ReadPhysionetData сценарий, который используется в примере Классификация сигналов ЭКГ с использованием сетей долговременной памяти.

Набор данных составляет около 95 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

oldpath = addpath(fullfile(matlabroot,'examples','deeplearning_shared','main'));
ReadPhysionetData
data = load('PhysionetData.mat')
signals = data.Signals;
labels = data.Labels;

Пример обработки этих данных для глубокого обучения см. в разделе Классификация сигналов ЭКГ с использованием сетей долговременной памяти.

Для восстановления пути используйте path функция.

path(oldpath);

Моделирование процесса Tennessee Eastman (TEP)

Этот набор данных состоит из файлов MAT, преобразованных из данных моделирования Tennessee Eastman Process (TEP).

Загрузите набор данных моделирования Tennessee Eastman Process (TEP) [18] с сайта файлов поддержки MathWorks (см. отказ от ответственности). Набор данных состоит из четырех компонентов: безотказное обучение, безотказное тестирование, неисправное обучение и неисправное тестирование. Загрузите каждый файл отдельно.

Набор данных составляет около 1,7 ГБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

fprintf("Downloading TEP faulty training data (613 MB)... ")
filenameFaultyTrain = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultytraining.mat'); 
fprintf("Done.\n")

fprintf("Downloading TEP faulty testing data (1 GB)... ")
filenameFaultyTest = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultytesting.mat');
fprintf("Done.\n")

fprintf("Downloading TEP fault-free training data (36 MB)... ")
filenameFaultFreeTrain = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultfreetraining.mat'); 
fprintf("Done.\n")

fprintf("Downloading TEP fault-free testing data (69 MB)... ")
filenameFaultFreeTest = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultfreetesting.mat'); 
fprintf("Done.\n")

Загрузите загруженные файлы в рабочую область MATLAB ®.

load(filenameFaultyTrain);
load(filenameFaultyTest);
load(filenameFaultFreeTrain);
load(filenameFaultFreeTest);

Пример обработки этих данных для глубокого обучения см. в разделе Обнаружение неисправностей химического процесса с помощью глубокого обучения.

Сегментация ЭКГ PhysioNet

Набор данных PhysioNet ECG Segmentation [19] состоит примерно из 15 минут [20]записей ЭКГ от в общей сложности 105 пациентов. Чтобы получить каждую запись, экзаменаторы разместили два электрода в разных местах на груди пациента, что привело к двухканальному сигналу. База данных предоставляет метки области сигнала, генерируемые автоматизированной экспертной системой.

Загрузите набор данных сегментации ECG PhysioNet из https://github.com/mathworks/physionet_ECG_segmentation, загрузив ZIP-файл QT_Database-master.zip. Набор данных составляет около 72 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время. Набор downloadFolder в расположение данных.

downloadFolder = tempdir;

url = "https://github.com/mathworks/physionet_ECG_segmentation/raw/master/QT_Database-master.zip";
filename = fullfile(downloadFolder,"QT_Database-master.zip");

dataFolder = fullfile(downloadFolder,"QT_Database-master");

if ~exist(dataFolder,"dir")
    fprintf("Downloading Physionet ECG Segmentation data set (72 MB)... ")
    websave(filename,url);
    unzip(filename,downloadFolder);
    fprintf("Done.\n")
end

Распаковка создает папку QT_Database-master во временном каталоге. Эта папка содержит текстовый файл README.md и следующие файлы:

QTData.mat содержит данные сегментации ECG PhysioNet. Файл Modified_physionet_data.txt предоставляет атрибуты источника для данных и описание операций, применяемых к каждой необработанной записи ЭКГ. Загрузите данные сегментации ECG PhysioNet из файла MAT.

load(fullfile(dataFolder,'QTData.mat'))

Пример обработки этих данных для глубокого обучения см. в разделе Сегментация формы волны с использованием глубокого обучения.

Синтетическое обратное рассеяние пешеходов, автомобилей и велосипедистов

Создание синтетического набора данных обратного рассеяния пешеходов, автомобилей и велосипедистов с помощью вспомогательных функций helperBackScatterSignals и helperDopplerSignatures, которые используются в примере Классификация пешеходов и велосипедистов с использованием глубокого обучения.

Вспомогательная функция helperBackScatterSignals формирует заданное число возвращений пешеходов, велосипедистов и автомобильных радаров. Для каждой реализации обратные сигналы имеют размеры Nfast-by-Nslow, где Nfast - количество выборок быстрого времени, а Nslow - количество выборок медленного времени.

Вспомогательная функция helperDopplerSignatures вычисляет кратковременное преобразование Фурье (STFT) радиолокационного возврата для генерации микродоплеровской сигнатуры. Для получения микродоплеровских сигнатур используйте вспомогательные функции для применения STFT и способа предварительной обработки к каждому сигналу.

oldpath = addpath(fullfile(matlabroot,'examples','phased','main'));
numPed = 1; % Number of pedestrian realizations
numBic = 1; % Number of bicyclist realizations
numCar = 1; % Number of car realizations
[xPedRec,xBicRec,xCarRec,Tsamp] = helperBackScatterSignals(numPed,numBic,numCar);

[SPed,T,F] = helperDopplerSignatures(xPedRec,Tsamp);
[SBic,~,~] = helperDopplerSignatures(xBicRec,Tsamp);
[SCar,~,~] = helperDopplerSignatures(xCarRec,Tsamp);

Пример обработки этих данных для глубокого обучения см. в разделе Классификация пешеходов и велосипедистов с использованием глубокого обучения.

Для восстановления пути используйте path функция.

path(oldpath);

Сгенерированные формы сигналов

Генерация прямоугольных, линейных ЧМ и фазокодированных сигналов с использованием вспомогательной функции helperGenerateRadarWaveforms, которая используется в примере Radar and Communications Waveform Classification Using Deep Learning.

Вспомогательная функция helperGenerateRadarWaveforms генерирует 3000 сигналов с частотой выборки 100 МГц для каждого типа модуляции с использованием phased.RectangularWaveform для прямоугольных импульсов, phased.LinearFMWaveform для линейного FM, и phased.PhaseCodedWaveform для фазокодированных импульсов с кодом Баркера.

oldpath = addpath(fullfile(matlabroot,'examples','phased','main'));
[wav, modType] = helperGenerateRadarWaveforms;

Пример обработки этих данных для глубокого обучения см. в разделе Классификация сигналов радара и связи с использованием глубокого обучения.

Для восстановления пути используйте path функция.

path(oldpath);

HMDB: большая база данных движения человека

(Типичный пример)

Набор данных HMBD51 содержит около 2 ГБ видеоданных для 7000 клипов из 51 класса, таких как напиток, бег и толчок.

Загрузите и извлеките HMBD51 набор данных из HMDB: большой человеческой базы данных движения. Набор данных составляет около 2 ГБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

После извлечения файлов RAR получите имена файлов и метки видео с помощью функции помощника hmdb51Files, которая использовалась в примере Классифицировать видео с помощью глубокого обучения. Набор dataFolder в расположение данных.

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
dataFolder = fullfile(tempdir,"hmdb51_org");
[files,labels] = hmdb51Files(dataFolder);

Пример обработки этих данных для глубокого обучения см. в разделе Классификация видео с помощью глубокого обучения.

Для восстановления пути используйте path функция.

path(oldpath);

Заводские отчеты

Набор данных Factory Reports представляет собой таблицу, содержащую приблизительно 500 отчетов с различными атрибутами, включая описание в виде обычного текста в переменной. Description и категориальная метка в переменной Category.

Считывание данных заводских отчетов из файла "factoryReports.csv". Извлеките текстовые данные и метки из Description и Category соответственно.

filename = "factoryReports.csv";
data = readtable(filename,'TextType','string');

textData = data.Description;
labels = data.Category;

Пример обработки этих данных для глубокого обучения см. в разделе Классификация текстовых данных с помощью глубокого обучения.

Классификация текста, моделирование тематики

Сонеты Шекспира

Файл sonnets.txt содержит все сонеты Шекспира в одном текстовом файле.

Прочитать данные «Сонетов» Шекспира из файла "sonnets.txt".

filename = "sonnets.txt";
textData = fileread(filename);

Сонеты разделяются двумя символами пробела и двумя символами новой строки. Удалить отступы с помощью replace и разбить текст на отдельные сонеты с помощью split. Удалите основной заголовок из первых трех элементов и названия сонета, которые появляются перед каждым сонетом.

textData = replace(textData,"  ","");
textData = split(textData,[newline newline]);
textData = textData(5:2:end);

Пример обработки этих данных для глубокого обучения см. в разделе Создание текста с помощью глубокого обучения.

Тематическое моделирование, создание текста

Метаданные ArXiv

ArXiv API позволяет получить доступ к метаданным научных электронных принтов, представленных в https://arxiv.org, включая абстрактную и предметную области. Дополнительные сведения см. в разделе https://arxiv.org/help/api.

Импорт набора аннотаций и меток категорий из математических документов с помощью API arXIV.

url = "https://export.arxiv.org/oai2?verb=ListRecords" + ...
    "&set=math" + ...
    "&metadataPrefix=arXiv";
options = weboptions('Timeout',160);
code = webread(url,options);

Пример анализа возвращенного XML-кода и импорта дополнительных записей см. в разделе Классификация текста Multilabel с помощью глубокого обучения.

Классификация текста, моделирование тематики

Книги из проекта Гутенберг

Вы можете загрузить много книг из Project Gutenberg. Например, скачать текст из Alice's Adventures in Wonderland Льюиса Кэрролла из https://www.gutenberg.org/files/11/11-h/11-h.htm с помощью webread функция.

url = "https://www.gutenberg.org/files/11/11-h/11-h.htm";
code = webread(url);

HTML-код содержит соответствующий текст внутри <p> (параграф) элементы. Извлеките соответствующий текст, проанализировав HTML-код с помощью htmlTree функция, а затем поиск всех элементов с именем элемента "p".

tree = htmlTree(code);
selector = "p";
subtrees = findElement(tree,selector);

Извлеките текстовые данные из поддеревьев HTML с помощью extractHTMLText и удалите пустые элементы.

textData = extractHTMLText(subtrees);
textData(textData == "") = [];

Пример обработки этих данных для глубокого обучения см. в разделе Создание текста по слову с помощью глубокого обучения.

Тематическое моделирование, создание текста

Обновления выходного дня

Файл weekendUpdates.xlsx Содержит примеры обновлений состояния социальных сетей, содержащих хэштеги «# weekend» и «# vacy». Для этого набора данных требуется Toolbox™ Text Analytics.

Извлечение текстовых данных из файла weekendUpdates.xlsx с использованием readtable функция и извлечение текстовых данных из переменной TextData.

filename = "weekendUpdates.xlsx";
tbl = readtable(filename,'TextType','string');
textData = tbl.TextData;

Пример обработки этих данных см. в разделе Анализ настроений в тексте (панель инструментов для анализа текста).

Анализ настроений

Римские цифры

CSV-файл "romanNumerals.csv" содержит десятичные числа 1-1000 в первом столбце и соответствующие римские цифры во втором столбце.

Загрузка десятичных-римских пар цифр из CSV-файла "romanNumerals.csv".

filename = fullfile("romanNumerals.csv");

options = detectImportOptions(filename, ...
    'TextType','string', ...
    'ReadVariableNames',false);
options.VariableNames = ["Source" "Target"];
options.VariableTypes = ["string" "string"];

data = readtable(filename,options);

Пример обработки этих данных для глубокого обучения см. в разделе Перевод последовательности в последовательность с использованием внимания.

Преобразование последовательности в последовательность

Финансовые отчеты

Комиссия по ценным бумагам и биржам (SEC) позволяет получать доступ к финансовым отчетам через API электронного сбора, анализа и извлечения данных (EDGAR). Дополнительные сведения см. в разделе https://www.sec.gov/edgar/searchedgar/accessing-edgar-data.htm.

Для загрузки этих данных используйте функцию financeReports прилагается к примеру «Создать лексикон настроений для конкретного домена» (панель инструментов для анализа текста) в качестве вспомогательного файла. Чтобы получить доступ к этой функции, откройте пример в виде сценария в реальном времени.

year = 2019;
qtr = 4;
maxLength = 2e6;
textData = financeReports(year,qtr,maxLength);

Пример обработки этих данных см. в разделе Создание лексикона чувствительности для конкретного домена (панель инструментов для анализа текста).

Анализ настроений

Речевые команды

Набор данных речевых команд [21] состоит из приблизительно 65000 аудиофайлов, помеченных 1 из 12 классов, включая да, нет, вкл и выкл, а также классов, соответствующих неизвестным командам и фоновому шуму.

Загрузите и извлеките набор данных речевых команд из https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz. Набор данных составляет около 1,4 ГБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

Набор dataFolder в расположение данных. Использовать audioDatastore для создания хранилища данных, содержащего имена файлов и соответствующие метки.

dataFolder = tempdir;
ads = audioDatastore(dataFolder, ...
    'IncludeSubfolders',true, ...
    'FileExtensions','.wav', ...
    'LabelSource','foldernames');

Пример обработки этих данных для глубокого обучения см. в разделе Распознавание речевых команд с помощью глубокого обучения.

Общий голос Mozilla

Набор данных Mozilla Common Voice состоит из аудиозаписей речи и соответствующих текстовых файлов. Данные также включают демографические метаданные, такие как возраст, пол и акцент.

Загрузите и извлеките набор данных набора данных Mozilla Common Voice из https://voice.mozilla.org/. Набор данных является открытым набором данных, что означает, что он может расти со временем. На октябрь 2019 года набор данных составляет около 28 Гб. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время. Набор dataFolder в расположение данных. Использовать audioDatastore для создания хранилища данных, содержащего имена файлов и соответствующие метки.

dataFolder = tempdir;
ads = audioDatastore(fullfile(dataFolder,"clips"));

Пример, показывающий, как обрабатывать эти данные для глубокого обучения, см. в разделе Классификация пола с использованием сетей GRU.

Набор данных для бесплатных разговорных цифр

Free Spoken Digit Dataset, по состоянию на 29 января 2019 года, состоит из 2000 записей английских цифр от 0 до 9, полученных из четырёх говорящих. Два из говорящих в этой версии являются носителями американского английского языка и два говорящих - неосновными носителями английского языка с бельгийским французским и немецким акцентом соответственно. Данные дискретизируются на частоте 8000 Гц.

Загрузите записи набора данных Free Spoken Digit (FSDD) из https://github.com/Jakobovski/free-spoken-digit-dataset.

Набор dataFolder в расположение данных. Использовать audioDatastore для создания хранилища данных, содержащего имена файлов и соответствующие метки.

dataFolder = fullfile(tempdir,'free-spoken-digit-dataset','recordings');
ads = audioDatastore(dataFolder);

Пример обработки этих данных для глубокого обучения см. в разделе Распознавание речевых цифр с вейвлет-рассеянием и глубоким обучением.

Берлинская база данных эмоциональной речи

Берлинская база данных эмоциональной речи [22] содержит 535 высказываний, произнесенных 10 актерами, призванных передать одну из следующих эмоций: гнев, скука, отвращение, беспокойство/страх, счастье, печаль или нейтралитет. Эмоции не зависят от текста.

Имена файлов представляют собой коды, обозначающие идентификатор говорящего, текст, слова, эмоции и версию. Веб-сайт содержит ключ для интерпретации кода и дополнительную информацию о ораторах, такую как пол и возраст.

Загрузить Берлинскую базу данных эмоциональной речи из http://emodb.bilderbar.info/index-1280.html. Набор данных составляет около 40 МБ. В зависимости от подключения к Интернету процесс загрузки может занять некоторое время.

Набор dataFolder в расположение данных. Использовать audioDatastore для создания хранилища данных, содержащего имена файлов и соответствующие метки.

dataFolder = tempdir;
ads = audioDatastore(fullfile(dataFolder,"wav"));

Пример обработки этих данных для глубокого обучения см. в разделе Распознавание речевых эмоций.

Акустические сцены TUT 2017

Загрузите и извлеките набор данных TUT Acoustic scenes 2017 [23] из набора данных TUT Acoustic scenes 2017, набора данных разработки и TUT Acoustic scenes 2017, набора данных оценки.

Набор данных состоит из 10-секундных звуковых сегментов из 15 акустических сцен, включая автобус, автомобиль и библиотеку.

Пример обработки этих данных для глубокого обучения см. в разделе Распознавание акустических сцен с помощью позднего слияния.