Документация

Цифры

Набор данных цифр состоит из 10 000 синтетических полутоновых изображений рукописных цифр. Каждое изображение является 28 28 пикселями и имеет связанную метку, обозначающую, какую цифру изображение представляет (0–9). Каждое изображение вращалось определенным углом. При загрузке изображений как массивов можно также загрузить угол поворота изображения.

Загрузите данные о цифрах как числовые массивы в оперативной памяти с помощью digitTrain4DArrayData и digitTest4DArrayData функции.

[XTrain,YTrain,anglesTrain] = digitTrain4DArrayData;
[XTest,YTest,anglesTest] = digitTest4DArrayData;

Для примеров, показывающих, как обработать эти данные для глубокого обучения, смотрите Процесс обучения Глубокого обучения Монитора и Обучите Сверточную нейронную сеть Регрессии.

Загрузите данные о цифрах как datastore изображений с помощью imageDatastore функционируйте и задайте папку, содержащую данные изображения.

dataFolder = fullfile(toolboxdir('nnet'),'nndemos','nndatasets','DigitDataset');
imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ....
    'LabelSource','foldernames');

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Создают Простую сеть глубокого обучения для Классификации.

MNIST

(Представительный пример)

Набор данных MNIST состоит из 70 000 рукописных разделений цифр в обучение и тестовые разделы 60 000 и 10 000 изображений, соответственно. Каждое изображение является 28 28 пикселями и имеет связанную метку, обозначающую, какую цифру изображение представляет (0–9).

Загрузите файлы MNIST с http://yann.lecun.com/exdb/mnist/ и загрузите набор данных в рабочую область. Чтобы загрузить данные из файлов как массивы MATLAB, поместите, файлы в рабочей директории затем используют функции помощника processImagesMNIST и processLabelsMNIST, которые используются в примере, Обучают Вариационный Автоэнкодер (VAE) Генерировать Изображения.

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
filenameImagesTrain = 'train-images-idx3-ubyte.gz';
filenameLabelsTrain = 'train-labels-idx1-ubyte.gz';
filenameImagesTest = 't10k-images-idx3-ubyte.gz';
filenameLabelsTest = 't10k-labels-idx1-ubyte.gz';

XTrain = processImagesMNIST(filenameImagesTrain);
YTrain = processLabelsMNIST(filenameLabelsTrain);
XTest = processImagesMNIST(filenameImagesTest);
YTest = processLabelsMNIST(filenameLabelsTest);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Обучают Вариационный Автоэнкодер (VAE) Генерировать Изображения.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

Omniglot

Набор данных Omniglot содержит наборы символов для 50 алфавитов, разделенных на 30 наборов для обучения и 20 наборов для тестирования. Каждый алфавит содержит много символов, от 14 для Ojibwe (канадский исконный syllabics) к 55 для Tifinagh. Наконец, каждый символ имеет 20 рукописных наблюдений.

Загрузите и извлеките набор данных Omniglot [1] из https://github.com/brendenlake/omniglot. Установите downloadFolder к местоположению данных.

downloadFolder = tempdir;

url = "https://github.com/brendenlake/omniglot/raw/master/python";
urlTrain = url + "/images_background.zip";
urlTest = url + "/images_evaluation.zip";

filenameTrain = fullfile(downloadFolder,"images_background.zip");
filenameTest = fullfile(downloadFolder,"images_evaluation.zip");

dataFolderTrain = fullfile(downloadFolder,"images_background");
dataFolderTest = fullfile(downloadFolder,"images_evaluation");

if ~exist(dataFolderTrain,"dir")
    fprintf("Downloading Omniglot training data set (4.5 MB)... ")
    websave(filenameTrain,urlTrain);
    unzip(filenameTrain,downloadFolder);
    fprintf("Done.\n")
end

if ~exist(dataFolderTest,"dir")
    fprintf("Downloading Omniglot test data (3.2 MB)... ")
    websave(filenameTest,urlTest);
    unzip(filenameTest,downloadFolder);
    fprintf("Done.\n")
end

Чтобы загрузить обучение и тестовые данные как хранилища данных изображений, используйте imageDatastore функция. Задайте метки вручную путем извлечения меток из имен файлов и установки Labels свойство.

imdsTrain = imageDatastore(dataFolderTrain, ...
    'IncludeSubfolders',true, ...
    'LabelSource','none');

files = imdsTrain.Files;
parts = split(files,filesep);
labels = join(parts(:,(end-2):(end-1)),'_');
imdsTrain.Labels = categorical(labels);

imdsTest = imageDatastore(dataFolderTest, ...
    'IncludeSubfolders',true, ...
    'LabelSource','none');

files = imdsTest.Files;
parts = split(files,filesep);
labels = join(parts(:,(end-2):(end-1)),'_');
imdsTest.Labels = categorical(labels);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Обучают сиамскую Сеть, чтобы Сравнить Изображения.

Цветы

Кредиты изображений: [3] [4] [5] [6]

Цветочный набор данных содержит 3 670 изображений цветов, принадлежащих пяти классам (гирлянда, одуванчик, розы, подсолнечники и тюльпаны).

Загрузите и извлеките Цветочный набор данных [2] из http://download.tensorflow.org/example_images/flower_photos.tgz. Набор данных составляет приблизительно 218 Мбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки. Установите downloadFolder к местоположению данных.

url = 'http://download.tensorflow.org/example_images/flower_photos.tgz';
downloadFolder = tempdir;
filename = fullfile(downloadFolder,'flower_dataset.tgz');

dataFolder = fullfile(downloadFolder,'flower_photos');
if ~exist(dataFolder,'dir')
    fprintf("Downloading Flowers data set (218 MB)... ")
    websave(filename,url);
    untar(filename,downloadFolder)
    fprintf("Done.\n")
end

Загрузите данные как datastore изображений с помощью imageDatastore функционируйте и задайте папку, содержащую данные изображения.

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ...
    'LabelSource','foldernames');

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Обучают Порождающую соперничающую сеть (GAN).

Продовольственные изображения в качестве примера

Продовольственный набор данных Изображений В качестве примера содержит 978 фотографий еды в девяти классах (caeser_salad, caprese_salad, french_fries, greek_salad, гамбургер, hot_dog, пицца, сашими и суши).

Загрузите Продовольственный набор данных Изображений В качестве примера с помощью downloadSupportFile функционируйте и извлеките изображения с помощью unzip функция. Этот набор данных составляет приблизительно 77 Мбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

fprintf("Downloading Example Food Image data set (77 MB)... ")
filename = matlab.internal.examples.downloadSupportFile('nnet', ...
    'data/ExampleFoodImageDataset.zip');
fprintf("Done.\n")

filepath = fileparts(filename);
dataFolder = fullfile(filepath,'ExampleFoodImageDataset');
unzip(filename,dataFolder);

Для примера, показывающего, как обработать эти данные для глубокого обучения, Поведения Сети вида на море Используя tsne.

CIFAR-10

(Представительный пример)

Набор данных CIFAR-10 содержит 60 000 цветных изображений размера 32 32 пиксели, принадлежа 10 классам (самолет, автомобиль, птица, кошка, олень, собака, лягушка, лошадь, поставка и грузовик).

Существует 6 000 изображений в классе, и набор данных разделен в набор обучающих данных с 50 000 изображений и набор тестов с 10 000 изображений. Этот набор данных является одним из наиболее широко используемых наборов данных для тестирования новых моделей классификации изображений.

Загрузите и извлеките набор данных CIFAR-10 [7] из https://www.cs.toronto.edu/%7Ekriz/cifar-10-matlab.tar.gz. Набор данных составляет приблизительно 175 Мбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки. Установите downloadFolder к местоположению данных.

url = 'https://www.cs.toronto.edu/~kriz/cifar-10-matlab.tar.gz';
downloadFolder = tempdir;
filename = fullfile(downloadFolder,'cifar-10-matlab.tar.gz');

dataFolder = fullfile(downloadFolder,'cifar-10-batches-mat');
if ~exist(dataFolder,'dir')
    fprintf("Downloading CIFAR-10 dataset (175 MB)... ");
    websave(filename,url);
    untar(filename,downloadFolder);
    fprintf("Done.\n")
end

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
[XTrain,YTrain,XValidation,YValidation] = loadCIFARData(downloadFolder);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Обучают Остаточную Сеть для Классификации Изображений.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

MathWorks^® Merch

Это - небольшой набор данных, содержащий 75 изображений товаров MathWorks, принадлежа пяти различным классам (дно, куб, игра в карты, отвертка и факел). Можно использовать этот набор данных, чтобы испытать передачу обучения и классификацию изображений быстро.

Изображения имеют размер 227 227 3.

Извлеките набор данных MathWorks Merch.

filename = 'MerchData.zip';

dataFolder = fullfile(tempdir,'MerchData');
if ~exist(dataFolder,'dir')
    unzip(filename,tempdir);
end

Загрузите данные как datastore изображений с помощью imageDatastore функционируйте и задайте папку, содержащую данные изображения.

imds = imageDatastore(dataFolder, ...
    'IncludeSubfolders',true, ....
    'LabelSource','foldernames');

Для примеров, показывающих, как обработать эти данные для глубокого обучения, смотрите Начало работы с Передачей обучения и Обучите Нейронную сеть для глубокого обучения Классифицировать Новые Изображения.

CamVid

Набор данных CamVid является набором изображений, содержащих представления уличного уровня, полученные из управляемых автомобилей. Набор данных полезен для того, чтобы обучить нейронные сети, которые выполняют семантическую сегментацию изображений, и обеспечивает метки пиксельного уровня для 32 семантических классов, включая автомобиль, пешехода и дорогу.

Изображения имеют размер 720 960 3.

Загрузите и извлеките набор данных CamVid [8] из http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData. Набор данных составляет приблизительно 573 Мбайта. В зависимости от вашего интернет-соединения может занять время процесс загрузки. Установите downloadFolder к местоположению данных.

downloadFolder = tempdir;
url = "http://web4.cs.ucl.ac.uk/staff/g.brostow/MotionSegRecData"
urlImages = url + "/files/701_StillsRaw_full.zip";
urlLabels = url + "/data/LabeledApproved_full.zip";

dataFolder = fullfile(downloadFolder,'CamVid');
dataFolderImages = fullfile(dataFolder,'images');
dataFolderLabels = fullfile(dataFolder,'labels');

filenameLabels = fullfile(dataFolder,'labels.zip');
filenameImages = fullfile(dataFolder,'images.zip');

if ~exist(filenameLabels, 'file') || ~exist(imagesZip,'file')   
    mkdir(dataFolder)
    
    fprintf("Downloading CamVid data set images (557 MB)... ");
    websave(filenameImages, urlImages);       
    unzip(filenameImages, dataFolderImages);
    fprintf("Done.\n")
   
    fprintf("Downloading CamVid data set labels (16 MB)... ");
    websave(filenameLabels, urlLabels);
    unzip(filenameLabels, dataFolderLabels);
    fprintf("Done.\n")
end

Загрузите данные как пиксельный datastore метки с помощью pixelLabelDatastore функционируйте и задайте папку, содержащую данные о метке, классы и метку IDs. Чтобы сделать обучение легче, сгруппируйте 32 исходных класса в наборе данных в 11 классов. Чтобы получить метку IDs, используйте функцию помощника camvidPixelLabelIDs, который используется в Семантической Сегментации в качестве примера Используя Глубокое обучение.

oldpath = addpath(fullfile(matlabroot,'examples','deeplearning_shared','main'));
imds = imageDatastore(dataFolderImages,'IncludeSubfolders',true);

classes = ["Sky" "Building" "Pole" "Road" "Pavement" "Tree" ...
    "SignSymbol" "Fence" "Car" "Pedestrian" "Bicyclist"];

labelIDs = camvidPixelLabelIDs;

pxds = pixelLabelDatastore(dataFolderLabels,classes,labelIDs);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Семантическая Сегментация Использует Глубокое обучение.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

Транспортное средство

Набор данных Транспортного средства состоит из 295 изображений, содержащих один или два помеченных экземпляра транспортного средства. Этот небольшой набор данных полезен для исследования метода обучения YOLO-v2, но на практике, более помеченные изображения необходимы, чтобы обучить устойчивый детектор.

Изображения имеют размер 720 960 3.

Извлеките набор данных Транспортного средства. Установите dataFolder к местоположению данных.

filename = 'vehicleDatasetImages.zip';

dataFolder = fullfile(tempdir,'vehicleImages');
if ~exist(dataFolder,'dir')
    unzip(filename,tempdir);
end

Загрузите набор данных как таблица имен файлов и ограничительных рамок из извлеченного файла MAT и преобразуйте имена файлов в абсолютные пути к файлам.

data = load('vehicleDatasetGroundTruth.mat');
vehicleDataset = data.vehicleDataset;

vehicleDataset.imageFilename = fullfile(tempdir,vehicleDataset.imageFilename);

Создайте datastore изображений, содержащий изображения и datastore метки поля, содержащий ограничительные рамки с помощью imageDatastore и boxLabelDatastore функции, соответственно. Объедините получившиеся хранилища данных с помощью combine функция.

filenamesImages = vehicleDataset.imageFilename;
tblBoxes = vehicleDataset(:,'vehicle');

imds = imageDatastore(filenamesImages);
blds = boxLabelDatastore(tblBoxes);

cds = combine(imds,blds);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Обнаружение объектов Использует глубокое обучение YOLO v2.

RIT-18

Набор данных RIT-18 содержит данные изображения, полученные беспилотником по национальному парку Hamlin Beach в штате Нью-Йорк. Данные содержат помеченное обучение, валидацию и наборы тестов, с 18 метками класса объекта включая дорожные разметки, дерево и создание.

Загрузите набор данных RIT-18 [9] с https://www.cis.rit.edu/%7Ermk6217/rit18_data.mat. Набор данных составляет приблизительно 3 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки. Установите downloadFolder к местоположению данных.

downloadFolder = tempdir;
url = 'http://www.cis.rit.edu/~rmk6217/rit18_data.mat';
filename = fullfile(downloadFolder,'rit18_data.mat');

if ~exist(filename,'file')
    fprintf("Downloading Hamlin Beach data set (3 GB)... ");
    websave(filename,url);
    fprintf("Done.\n")
end

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Семантическую Сегментацию Многоспектральных Изображений Используя Глубокое обучение.

BraTS

Набор данных BraTS содержит сканы MRI опухолей головного мозга, а именно, глиом, которые являются наиболее распространенной первичной мозговой зловредностью.

Набор данных содержит 750 4-D объемов, каждый представляющий стек 3-D изображений. Каждый 4-D объем имеет размер 240 240 155 4, где первые три измерения соответствуют высоте, ширине и глубине 3-D объемного изображения. Четвертая размерность соответствует различной модальности скана. Набор данных разделен на 484 учебных объема с метками вокселя и 266 тестовых объемов.

Создайте директорию, чтобы сохранить набор данных BraTS [10].

dataFolder = fullfile(tempdir,'BraTS');

if ~exist(dataFolder,'dir')
    mkdir(dataFolder);
end

Загрузите данные BraTS из Медицинского Десятиборья Сегментации путем щелкания по ссылке "Download Data". Загрузите файл "Task01_BrainTumour.tar". Набор данных составляет приблизительно 7 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

Извлеките файл TAR в директорию, заданную dataFolder переменная. Если экстракция успешна, то dataFolder содержит директорию под названием Task01_BrainTumour это имеет три подкаталога: imagesTr, imagesTs, и labelsTr.

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что 3-D Сегментация Опухоли головного мозга Использует Глубокое обучение.

Camelyon16

Данные из проблемы Camelyon16 содержат в общей сложности 400 WSIs лимфатических узлов из двух независимых источников, разделенных на 270 учебных изображений и 130 тестовых изображений. WSIs хранятся как файлы TIF в разделенном формате с 11-уровневой структурой пирамиды.

Обучающий набор данных состоит из 159 WSIs нормальных лимфатических узлов и 111 изображений целого понижения (WSIs) лимфатических узлов с опухолью и здоровой ткани. Обычно, ткань опухоли является небольшой частью здоровой ткани. Координаты основной истины контуров повреждения сопровождают изображения опухоли.

Создайте директории, чтобы сохранить набор данных Camelyon16 [11].

dataFolderTrain = fullfile(tempdir,'Camelyon16','training');
dataFolderNormalTrain = fullfile(dataFolderTrain,'normal');
dataFolderTumorTrain = fullfile(dataFolderTrain,'tumor');
dataFolderAnnotationsTrain = fullfile(dataFolderTrain,'lesion_annotations');

if ~exist(dataFolderTrain,'dir')
    mkdir(dataFolderTrain);
    mkdir(dataFolderNormalTrain);
    mkdir(dataFolderTumorTrain);
    mkdir(dataFolderAnnotationsTrain);
end

Загрузите набор данных Camelyon16 с Camelyon17 путем щелкания по первой "ссылке" набора данных CAMELYON16. Откройте "учебную" директорию, затем выполните эти шаги:

Набор данных составляет приблизительно 2 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Классифицируют Большие Изображения Мультиразрешения Используя blockedImage и Глубокое обучение.

Общие объекты в контексте (COCO)

(Представительный пример)

COCO 2014 обучается, набор данных изображений состоит из 82 783 изображений. Данные об аннотациях содержат по крайней мере пять заголовков, соответствующих каждому изображению.

Создайте директории, чтобы сохранить набор данных COCO.

dataFolder = fullfile(tempdir,"coco");
if ~exist(dataFolder,'dir')
    mkdir(dataFolder);
end

Загрузите и извлеките COCO 2014, обучают изображения и заголовки под эгидой https://cocodataset.org/#download путем щелкания по ссылкам "2014 Train images" и "2014 Train/Val annotations", соответственно. Сохраните в папке данные, заданные dataFolder.

Извлеките заголовки из файла captions_train2014.json использование jsondecode функция.

filename = fullfile(dataFolder,"annotations_trainval2014","annotations", ...
    "captions_train2014.json");
str = fileread(filename);
data = jsondecode(str);

annotations поле struct содержит данные, требуемые для ввода субтитров изображений.

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Изображение Озаглавливает Используя Внимание.

IAPR TC-12

(Представительный пример)

Сравнительный тест IAPR TC-12 [12] состоит из 20 000 все еще естественных изображений. Набор данных включает фотографии людей, животных, города и т.д. Размер файла данных составляет приблизительно 1,8 Гбайт.

Загрузите набор данных IAPR TC-12.

dataDir = fullfile(tempdir,'iaprtc12');
url = 'http://www-i6.informatik.rwth-aachen.de/imageclef/resources/iaprtc12.tgz';

if ~exist(dataDir,'dir')
    fprintf('Downloading IAPR TC-12 data set (1.8 GB)...\n');
    try
        untar(url,dataDir);
    catch 
        % On some Windows machines, the untar command errors for .tgz
        % files. Rename to .tg and try again.
        fileName = fullfile(tempdir,'iaprtc12.tg');
        websave(fileName,url);
        untar(fileName,dataDir);
    end
    fprintf('Done.\n\n');
end

Загрузите данные как datastore изображений с помощью imageDatastore функция. Задайте папку, содержащую данные изображения и расширения файла изображения.

imageDir = fullfile(dataDir,'images')
exts = {'.jpg','.bmp','.png'};
imds = imageDatastore(imageDir, ...
    'IncludeSubfolders',true, ...
    'FileExtensions',exts);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Одно Суперразрешение Изображений Использует Глубокое обучение.

Цюрихские СЫРЫЕ ДАННЫЕ к RGB

Цюрихские СЫРЫЕ ДАННЫЕ к набору данных RGB [13] содержат 48 043 пространственно зарегистрированных пары СЫРЫХ ДАННЫХ и закрашенные фигуры обучения RGB изображений размера 448 448. Набор данных содержит два отдельных набора тестов. Один набор тестов состоит из 1 204 пространственно зарегистрированных пар СЫРЫХ ДАННЫХ и закрашенных фигур RGB изображений размера 448 448. Другой набор тестов состоит из незарегистрированных СЫРЫХ ДАННЫХ полного разрешения и изображений RGB. Размер набора данных составляет 22 Гбайт.

Создайте директорию, чтобы сохранить Цюрихские СЫРЫЕ ДАННЫЕ к набору данных RGB.

imageDir = fullfile(tempdir,'ZurichRAWToRGB');
if ~exist(imageDir,'dir')
    mkdir(imageDir);
end 

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Разрабатывают Необработанный Конвейер обработки Камеры Используя Глубокое обучение.

LIVE в дикой природе

LIVE В Диком наборе данных [14] состоит из 1 162 фотографий, полученных мобильными устройствами с 7 дополнительными учебными изображениями. Каждое изображение оценивается в среднем 175 индивидуумами по шкале [1, 100]. Набор данных обеспечивает среднее и стандартное отклонение субъективной музыки к каждому изображению.

Создайте директорию, чтобы сохранить LIVE В Диком наборе данных.

imageDir = fullfile(tempdir,"LIVEInTheWild");
if ~exist(imageDir,'dir')
    mkdir(imageDir);
end

Загрузите набор данных путем следования инструкциям, обрисованным в общих чертах в LIVE В Дикой Базе данных проблемы Качества изображения. Извлеките данные в директорию, заданную imageDir переменная. Когда извлечено успешно, imageDir содержит две директории: 'Данные' и 'Изображения'.

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Определяют количество Качества изображения Используя Нейронную Оценку Изображений.

Японские гласные

Японский [15] [16] набора данных Гласных содержит предварительно обработанные последовательности, представляющие произнесение японских гласных от различных докладчиков.

XTrain и XTest массивы ячеек, содержащие последовательности размерности 12 из различной длины. YTrain и YTest категориальные векторы из, маркирует 1 to 9, которые соответствуют этим девяти динамикам. Записи в XTrain матрицы с 12 строками (одна строка для каждого признака) и различными количествами столбцов (один столбец для каждого временного шага). XTest массив ячеек, содержащий 370 последовательностей размерности 12 из различной длины.

Загрузите японский набор данных Гласных как массивы ячеек в оперативной памяти, содержащие числовые последовательности с помощью japaneseVowelsTrainData и japaneseVowelsTestData функции.

[XTrain,YTrain] = japaneseVowelsTrainData;
[XTest,YTest] = japaneseVowelsTestData;

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Классификация Последовательностей Использует Глубокое обучение.

Ветрянка

Набор данных Ветрянки содержит одни временные ряды с временными шагами, соответствующими месяцам и значениям, соответствующим количеству случаев. Выход является массивом ячеек, где каждым элементом является один временной шаг.

Загрузите данные о Ветрянке как сингл числовые последовательности с помощью chickenpox_dataset функция. Измените данные, чтобы быть вектором-строкой.

data = chickenpox_dataset;
data = [data{:}];

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Временные ряды Предсказывают Используя Глубокое обучение.

Деятельность человека

Набор данных Деятельности человека содержит семь временных рядов данных о датчике, полученных из смартфона, который изнашивают на теле. Каждая последовательность имеет три функции и варьируется по длине. Три функции соответствуют показаниям акселерометра в трех различных направлениях.

Загрузите набор данных Деятельности человека.

dataTrain = load('HumanActivityTrain');
dataTest = load('HumanActivityTest');

XTrain = dataTrain.XTrain;
YTrain = dataTrain.YTrain;
XTest = dataTest.XTest;
YTest = dataTest.YTest;

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Классификация От последовательности к последовательности Использует Глубокое обучение.

Турбовентиляторная симуляция ухудшения Engine

Каждые временные ряды Турбовентиляторных Данных моделирования Ухудшения Engine установили [17], представляет различный механизм. Каждый механизм запускается с неизвестных степеней начального износа и производственного изменения. Механизм действует обычно в начале каждых временных рядов и разрабатывает отказ в какой-то момент во время ряда. В наборе обучающих данных отказ растет в величине до системного отказа.

Данные содержат сжатые до ZIP текстовые файлы с 26 столбцами чисел, разделенных пробелами. Каждая строка является снимком состояния данных, взятых во время одного рабочего цикла, и каждый столбец является различной переменной. Столбцы соответствуют следующему:

Создайте директорию, чтобы сохранить Турбовентиляторный набор Данных моделирования Ухудшения Engine.

dataFolder = fullfile(tempdir,"turbofan");
if ~exist(dataFolder,'dir')
    mkdir(dataFolder);
end

Загрузите и извлеките Турбовентиляторный Набор Данных моделирования Ухудшения Engine из https://ti.arc.nasa.gov/tech/dash/groups/pcoe/prognostic-data-repository/.

Разархивируйте данные из файла CMAPSSData.zip.

filename = "CMAPSSData.zip";
unzip(filename,dataFolder)

Загрузите обучение и тестовые данные с помощью функций помощника processTurboFanDataTrain и processTurboFanDataTest, соответственно. Эти функции используются в Регрессии От последовательности к последовательности в качестве примера Используя Глубокое обучение.

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
filenamePredictors = fullfile(dataFolder,"train_FD001.txt");
[XTrain,YTrain] = processTurboFanDataTrain(filenamePredictors);

filenamePredictors = fullfile(dataFolder,"test_FD001.txt");
filenameResponses = fullfile(dataFolder,"RUL_FD001.txt");
[XTest,YTest] = processTurboFanDataTest(filenamePredictors,filenameResponses);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Регрессия От последовательности к последовательности Использует Глубокое обучение.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

Проблема PhysioNet 2017

Набор данных PhysioNet 2017 проблемы [19] состоит из набора электрокардиограммы (ECG) записи, произведенные на уровне 300 Гц и разделенные на группу экспертов в различные классы.

Загрузите и извлеките набор данных PhysioNet 2017 проблемы с помощью ReadPhysionetData скрипт, который используется в примере, Классифицирует Сигналы ECG Используя Длинные Краткосрочные Сети Памяти.

Набор данных составляет приблизительно 95 Мбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

oldpath = addpath(fullfile(matlabroot,'examples','deeplearning_shared','main'));
ReadPhysionetData
data = load('PhysionetData.mat')
signals = data.Signals;
labels = data.Labels;

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Классифицируют Сигналы ECG Используя Длинные Краткосрочные Сети Памяти.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

Симуляция Процесса Теннесси Истмэна (TEP)

Этот набор данных состоит из файлов MAT, преобразованных от данных моделирования Процесса Теннесси Истмэна (TEP).

Загрузите набор данных моделирования Процесса Теннесси Истмэна (TEP) [18] с сайта файлов поддержки MathWorks (см. правовую оговорку). Набор данных имеет четыре компонента: безотказное обучение, безотказное тестирование, дефектное обучение и дефектное тестирование. Загрузите каждый файл отдельно.

Набор данных составляет приблизительно 1,7 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

fprintf("Downloading TEP faulty training data (613 MB)... ")
filenameFaultyTrain = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultytraining.mat'); 
fprintf("Done.\n")

fprintf("Downloading TEP faulty testing data (1 GB)... ")
filenameFaultyTest = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultytesting.mat');
fprintf("Done.\n")

fprintf("Downloading TEP fault-free training data (36 MB)... ")
filenameFaultFreeTrain = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultfreetraining.mat'); 
fprintf("Done.\n")

fprintf("Downloading TEP fault-free testing data (69 MB)... ")
filenameFaultFreeTest = matlab.internal.examples.downloadSupportFile('predmaint', ...
    'chemical-process-fault-detection-data/faultfreetesting.mat'); 
fprintf("Done.\n")

Загрузите загруженные файлы в рабочую область MATLAB^®.

load(filenameFaultyTrain);
load(filenameFaultyTest);
load(filenameFaultFreeTrain);
load(filenameFaultFreeTest);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Химическое Обнаружение Отказа Процесса Использует Глубокое обучение.

Сегментация PhysioNet ECG

[19] [20] PhysioNet ECG набора данных Сегментации состоит примерно из 15 минут записей ECG от в общей сложности 105 пациентов. Чтобы получить каждую запись, ревизоры поместили два электрода в другие места на груди пациента, приводящей к двухканальному сигналу. База данных обеспечивает метки области сигнала, сгенерированные автоматизированной экспертной системой.

Загрузите набор данных PhysioNet ECG Сегментации с https://github.com/mathworks/physionet_ECG_segmentation путем загрузки zip-файла QT_Database-master.zip. Набор данных составляет приблизительно 72 Мбайта. В зависимости от вашего интернет-соединения может занять время процесс загрузки. Установите downloadFolder к местоположению данных.

downloadFolder = tempdir;

url = "https://github.com/mathworks/physionet_ECG_segmentation/raw/master/QT_Database-master.zip";
filename = fullfile(downloadFolder,"QT_Database-master.zip");

dataFolder = fullfile(downloadFolder,"QT_Database-master");

if ~exist(dataFolder,"dir")
    fprintf("Downloading Physionet ECG Segmentation data set (72 MB)... ")
    websave(filename,url);
    unzip(filename,downloadFolder);
    fprintf("Done.\n")
end

Разархивация создает папку QT_Database-master в вашей временной директории. Эта папка содержит текстовый файл README.md и следующие файлы:

QTData.mat содержит данные PhysioNet ECG о Сегментации. Файл Modified_physionet_data.txt обеспечивает исходные приписывания для данных, и описание операций применилось к каждой необработанной записи ECG. Загрузите данные PhysioNet ECG о Сегментации из файла MAT.

load(fullfile(dataFolder,'QTData.mat'))

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Сегментация Формы волны Использует Глубокое обучение.

Синтетический пешеход, автомобиль и обратное рассеяние велосипедиста

Сгенерируйте синтетического пешехода, автомобиль и набор данных обратного рассеяния велосипедиста с помощью функций помощника helperBackScatterSignals и helperDopplerSignatures, которые используются в Классификации Пешеходов и Велосипедистов в качестве примера Используя Глубокое обучение.

Функция помощника helperBackScatterSignals генерирует конкретное количество пешехода, велосипедиста, и автомобильный радар возвращается. Для каждой реализации сигналы возврата имеют размерности Nfast-by-Nslow, где Nfast является количеством быстро-разовых выборок, и Nslow является количеством медленно-разовых выборок.

Функция помощника helperDopplerSignatures вычисляет кратковременное преобразование Фурье (STFT) радара, возвращаются, чтобы сгенерировать micro-Doppler подпись. Чтобы получить micro-Doppler подписи, используйте функции помощника, чтобы применить STFT и метод предварительной обработки к каждому сигналу.

oldpath = addpath(fullfile(matlabroot,'examples','phased','main'));
numPed = 1; % Number of pedestrian realizations
numBic = 1; % Number of bicyclist realizations
numCar = 1; % Number of car realizations
[xPedRec,xBicRec,xCarRec,Tsamp] = helperBackScatterSignals(numPed,numBic,numCar);

[SPed,T,F] = helperDopplerSignatures(xPedRec,Tsamp);
[SBic,~,~] = helperDopplerSignatures(xBicRec,Tsamp);
[SCar,~,~] = helperDopplerSignatures(xCarRec,Tsamp);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Классификацию Пешеходов и Велосипедистов Используя Глубокое обучение.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

Сгенерированные формы волны

Сгенерируйте прямоугольный, линейный FM, и фаза закодировала формы волны с помощью функции помощника helperGenerateRadarWaveforms, который используется в Радаре в качестве примера и Коммуникационной Классификации Форм волны Используя Глубокое обучение.

Функция помощника helperGenerateRadarWaveforms генерирует 3 000 сигналов с частотой дискретизации 100 МГц для каждого типа модуляции с помощью phased.RectangularWaveform для меандров, phased.LinearFMWaveform для линейного FM и phased.PhaseCodedWaveform для закодированных фазой импульсов с кодом Баркера.

oldpath = addpath(fullfile(matlabroot,'examples','phased','main'));
[wav, modType] = helperGenerateRadarWaveforms;

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Радар и Коммуникационную Классификацию Форм волны Используя Глубокое обучение.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

HMDB: большая человеческая база данных движения

(Представительный пример)

Набор данных HMBD51 содержит приблизительно 2 Гбайт видеоданных для 7 000 клипов от 51 класса, таких как напиток, запуск и выжимание в упоре.

Загрузите и извлеките набор данных HMBD51 из HMDB: большая человеческая база данных движения. Набор данных составляет приблизительно 2 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

После того, как вы извлекаете файлы RAR, получаете имена файлов и метки видео при помощи функции помощника hmdb51Files, который использовал в примере, Классифицируют Видео Используя Глубокое обучение. Установите dataFolder к местоположению данных.

oldpath = addpath(fullfile(matlabroot,'examples','nnet','main'));
dataFolder = fullfile(tempdir,"hmdb51_org");
[files,labels] = hmdb51Files(dataFolder);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Классифицируют Видео Используя Глубокое обучение.

Чтобы восстановить путь, используйте path функция.

path(oldpath);

Отчеты фабрики

Набор данных Отчетов Фабрики является таблицей, содержащей приблизительно 500 отчетов с различными атрибутами включая описание простого текста в переменной Description и категориальная метка в переменной Category.

Считайте данные об Отчетах Фабрики из файла "factoryReports.csv". Извлеките текстовые данные и метки от Description и Category столбцы, соответственно.

filename = "factoryReports.csv";
data = readtable(filename,'TextType','string');

textData = data.Description;
labels = data.Category;

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Классифицируют текстовые Данные Используя Глубокое обучение.

Классификация текстов, моделирование темы

Сонеты Шекспира

Файл sonnets.txt содержит все сонеты Шекспира в одном текстовом файле.

Считайте данные о Сонетах Шекспира из файла "sonnets.txt".

filename = "sonnets.txt";
textData = fileread(filename);

Сонеты располагаются с отступом двумя пробельными символами и разделяются двумя символами новой строки. Удалите использование добавлений отступа replace и разделение текст в отдельное использование сонетов split. Удалите основной заголовок из первых трех элементов и заголовки сонета, которые появляются перед каждым сонетом.

textData = replace(textData,"  ","");
textData = split(textData,[newline newline]);
textData = textData(5:2:end);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Генерируют текст Используя Глубокое обучение.

Моделирование темы, текстовая генерация

Метаданные ArXiv

ArXiv API позволяет вам получать доступ к метаданным научной электронной печати, представленной https://arxiv.org включая абстрактные и предметные области. Для получения дополнительной информации см. https://arxiv.org/help/api.

Импортируйте набор кратких обзоров и подписей категорий из математических бумаг с помощью arXiV API.

url = "https://export.arxiv.org/oai2?verb=ListRecords" + ...
    "&set=math" + ...
    "&metadataPrefix=arXiv";
options = weboptions('Timeout',160);
code = webread(url,options);

Для примера, показывающего, как проанализировать возвращенный код XML и импортировать больше записей, смотрите, что Классификация Мультитекстов метки Использует Глубокое обучение.

Классификация текстов, моделирование темы

Книги из проекта Гутенберг

Можно загрузить много книг с Проекта Гутенберг. Например, загрузите текст с Алисы в Стране чудес Льюиса Кэрролла от https://www.gutenberg.org/files/11/11-h/11-h.htm с помощью webread функция.

url = "https://www.gutenberg.org/files/11/11-h/11-h.htm";
code = webread(url);

Код HTML содержит соответствующий текст в <p> (абзац) элементы. Извлеките соответствующий текст путем парсинга кода HTML с помощью htmlTree функционируйте и затем находящий все элементы с именем элемента "p".

tree = htmlTree(code);
selector = "p";
subtrees = findElement(tree,selector);

Извлеките текстовые данные из поддеревьев HTML с помощью extractHTMLText функционируйте и удалите пустые элементы.

textData = extractHTMLText(subtrees);
textData(textData == "") = [];

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Пословно текстовую Генерацию Используя Глубокое обучение.

Моделирование темы, текстовая генерация

Обновления выходных дней

Файл weekendUpdates.xlsx содержит обновления статуса социальных сетей в качестве примера, содержащие хэш-теги "#weekend" и "#vacation". Этот набор данных требует Text Analytics Toolbox™.

Извлеките текстовые данные из файла weekendUpdates.xlsx использование readtable функционируйте и извлеките текстовые данные из переменной TextData.

filename = "weekendUpdates.xlsx";
tbl = readtable(filename,'TextType','string');
textData = tbl.TextData;

Для примера, показывающего, как обработать эти данные, смотрите, Анализируют Чувство в тексте (Text Analytics Toolbox).

Анализ мнений

Римские цифры

Файл CSV "romanNumerals.csv" содержит десятичные числа 1–1000 в первом столбце и соответствующих Римских цифрах во втором столбце.

Загрузите пары десятичной Римской цифры из файла CSV "romanNumerals.csv".

filename = fullfile("romanNumerals.csv");

options = detectImportOptions(filename, ...
    'TextType','string', ...
    'ReadVariableNames',false);
options.VariableNames = ["Source" "Target"];
options.VariableTypes = ["string" "string"];

data = readtable(filename,options);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Перевод От последовательности к последовательности Использует Внимание.

Перевод от последовательности к последовательности

Финансовые отчеты

Комиссия по ценным бумагам и биржам (SEC) позволяет вам финансовым отчетам доступа через Электронный Сбор данных, Анализ и Извлечение (EDGAR) API. Для получения дополнительной информации см. https://www.sec.gov/edgar/searchedgar/accessing-edgar-data.htm.

Чтобы загрузить эти данные, используйте функциональный financeReports присоединенный к примеру Генерируют Зависящий от домена Словарь Чувства (Text Analytics Toolbox) как вспомогательный файл. Чтобы получить доступ к этой функции, откройте пример как Live Script.

year = 2019;
qtr = 4;
maxLength = 2e6;
textData = financeReports(year,qtr,maxLength);

Для примера, показывающего, как обработать эти данные, смотрите, Генерируют Зависящий от домена Словарь Чувства (Text Analytics Toolbox).

Анализ мнений

Речевые команды

Речевой набор данных Команд [21] состоит приблизительно из 65 000 звуковых файлов, помеченных 1 из 12 классов включая да, нет, на, и прочь, а также классов, соответствующих неизвестным командам и фоновому шуму.

Загрузите и извлеките Речевой набор данных Команд из https://storage.googleapis.com/download.tensorflow.org/data/speech_commands_v0.01.tar.gz. Набор данных составляет приблизительно 1,4 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

Установите dataFolder к местоположению данных. Используйте audioDatastore создать datastore, который содержит имена файлов и соответствующие метки.

dataFolder = tempdir;
ads = audioDatastore(dataFolder, ...
    'IncludeSubfolders',true, ...
    'FileExtensions','.wav', ...
    'LabelSource','foldernames');

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Распознание речевых команд с использованием глубокого обучения.

Mozilla общая речь

Набор данных Mozilla Common Voice состоит из аудиозаписей речи и соответствующих текстовых файлов. Данные также включают демографические метаданные, такие как возраст, пол и диакритический знак.

Загрузите и извлеките набор данных набора данных Mozilla Common Voice из https://voice.mozilla.org/. Набор данных является открытым набором данных, что означает, что это может расти в зависимости от времени. По состоянию на октябрь 2019 набор данных составляет приблизительно 28 Гбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки. Установите dataFolder к местоположению данных. Используйте audioDatastore создать datastore, который содержит имена файлов и соответствующие метки.

dataFolder = tempdir;
ads = audioDatastore(fullfile(dataFolder,"clips"));

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, Классифицируют Пол Используя Сети ГРУ.

Свободный разговорный набор данных цифры

Свободный Разговорный Набор данных Цифры, с 29 января 2019, состоит из 2 000 записей английских цифр 0 через 9 полученных от четырех докладчиков. Два из докладчиков в этой версии являются носителями американского варианта английского языка, и два докладчика являются ненативными докладчиками английского языка с французским Бельгии и немецким диакритическим знаком соответственно. Данные производятся на уровне 8 000 Гц.

Загрузите записи Свободного разговорного набора данных цифры (FSDD) с https://github.com/Jakobovski/free-spoken-digit-dataset.

Установите dataFolder к местоположению данных. Используйте audioDatastore создать datastore, который содержит имена файлов и соответствующие метки.

dataFolder = fullfile(tempdir,'free-spoken-digit-dataset','recordings');
ads = audioDatastore(dataFolder);

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Разговорное Распознавание Цифры с Рассеиванием Вейвлета и Глубоким обучением.

Берлинская база данных эмоциональной речи

Берлинская База данных Эмоциональной Речи [22] содержит 535 произнесения, на котором говорят 10 агентов, предназначенных, чтобы передать одну из следующих эмоций: гнев, скука, отвращение, беспокойство/страх, счастье, печаль, или нейтральный. Эмоции являются независимым текстом.

Имена файлов являются кодами, указывающими на ID динамика, текст, на котором говорят, эмоция и версия. Веб-сайт содержит ключ для интерпретации кода и дополнительной информации о динамиках, таких как пол и возраст.

Загрузите Берлинскую Базу данных Эмоциональной Речи от http://emodb.bilderbar.info/index-1280.html. Набор данных составляет приблизительно 40 Мбайт. В зависимости от вашего интернет-соединения может занять время процесс загрузки.

Установите dataFolder к местоположению данных. Используйте audioDatastore создать datastore, который содержит имена файлов и соответствующие метки.

dataFolder = tempdir;
ads = audioDatastore(fullfile(dataFolder,"wav"));

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите Речевое Распознавание Эмоции.

TUT Акустические сцены 2017

Загрузите и извлеките TUT Акустические сцены 2 017 наборов данных [23] от TUT Акустические сцены 2017, набор данных Development и TUT Акустические сцены 2017, набор данных Evaluation.

Набор данных состоит из 10-секундных аудио сегментов от 15 акустических сцен включая шину, автомобиль и библиотеку.

Для примера, показывающего, как обработать эти данные для глубокого обучения, смотрите, что Акустическое Распознавание Сцены Использует Последний Fusion.