Загрузка данных

Загрузите японский набор данных Гласных, как описано в [1] и [2]. Предикторы являются массивами ячеек, содержащими последовательности различной длины с размерностью признаков 12. Метки являются категориальными векторами меток 1,2..., 9.

[XTrain,YTrain] = japaneseVowelsTrainData;
[XValidation,YValidation] = japaneseVowelsTestData;

Просмотрите размеры первых нескольких обучающих последовательностей. Последовательности являются матрицами с 12 строками (одна строка для каждого признака) и различным количеством столбцов (один столбец для каждого временного шага).

XTrain(1:5)

ans=5×1 cell array
    {12×20 double}
    {12×26 double}
    {12×22 double}
    {12×20 double}
    {12×21 double}

Архитектура сети Define

Открытый Deep Network Designer.

deepNetworkDesigner

Выберите Blank Network.

Перетащите sequenceInputLayer к холсту и набору InputSize к 12, совпадать с размерностью признаков.

Затем перетащите lstmLayer к холсту. Установите NumHiddenUnits к 100 и OutputMode к last.

Затем перетащите fullyConnectedLayer на холст и набор OutputSize к 9, количество классов.

Наконец, перетащите softmaxLayer и classificationLayer на холст. Соедините свои слои, чтобы создать серийную сеть.

Проверяйте сетевую архитектуру

Чтобы проверять сеть и исследовать больше деталей слоев, нажмите Analyze. Если Нейронная сеть для глубокого обучения нулевые ошибки отчетов Анализатора, то отредактированная сеть готова к обучению.

Экспортируйте сетевую архитектуру

Чтобы экспортировать сетевую архитектуру, на вкладке Designer, нажимают Export. Deep Network Designer сохраняет сеть как переменную layers_1.

Можно также сгенерировать код, чтобы создать сетевую архитектуру путем выбора Export> Generate Code.

Обучение сети

Задайте опции обучения и обучите сеть.

Поскольку мини-пакеты малы с короткими последовательностями, центральный процессор лучше подходит для обучения. Установите 'ExecutionEnvironment' к 'cpu'. Чтобы обучаться на графическом процессоре, при наличии, устанавливает 'ExecutionEnvironment' к 'auto' (значение по умолчанию).

miniBatchSize = 27;
options = trainingOptions('adam', ...
    'ExecutionEnvironment','cpu', ...
    'MaxEpochs',100, ...
    'MiniBatchSize',miniBatchSize, ...
    'ValidationData',{XValidation,YValidation}, ...
    'GradientThreshold',2, ...
    'Shuffle','every-epoch', ...
    'Verbose',false, ...
    'Plots','training-progress');

Обучите сеть.

net = trainNetwork(XTrain,YTrain,layers_1,options);

Тестирование сети

Классифицируйте тестовые данные и вычислите точность классификации. Задайте тот же мини-пакетный размер что касается обучения.

YPred = classify(net,XValidation,'MiniBatchSize',miniBatchSize);
acc = mean(YPred == YValidation)

acc = 0.9405

Для следующих шагов можно попытаться улучшить точность при помощи двунаправленных слоев LSTM (BiLSTM) или путем создания более глубокой сети. Для получения дополнительной информации смотрите Длинные Краткосрочные Сети Памяти.

Для примера, показывающего, как использовать сверточные сети, чтобы классифицировать данные о последовательности, смотрите Распознание речевых команд с использованием глубокого обучения.

Ссылки