Набор данных GTZAN

Набор данных, используемый в этом примере, является Набором Жанра GTZAN [7] [8]. Данные обеспечиваются как заархивированный архив tar, который составляет приблизительно 1,2 Гбайт. Несжатый набор данных требует приблизительно 3 Гбайт дискового пространства. Извлечение сжатого файла tar от ссылки, обеспеченной в ссылках, создает папку с десятью подпапками. Каждая подпапка названа по имени жанра музыкальных выборок, которые это содержит. Жанры: блюз, классический, страна, дискотека, хип-хоп, джаз, металл, поп, регги и скала. Существует 100 примеров каждого жанра, и каждый звуковой файл состоит приблизительно из 30 секунд данных, произведенных на уровне 22 050 Гц. В исходной газете авторы использовали много временных интервалов и функций частотного диапазона включая коэффициенты mel-частоты cepstral (MFC), извлеченные из каждого музыкального примера и классификации смешанных гауссовских моделей (GMM), чтобы достигнуть точности 61 процента [7]. Впоследствии, нейронные сети для глубокого обучения были применены к этим данным. В большинстве случаев эти подходы глубокого обучения состоят из сверточных нейронных сетей (CNN) с коэффициентами MFC или спектрограммами как вход к глубокому CNN. Эти подходы привели к эффективности приблизительно 84% [4]. Подход LSTM с интервалами времени спектрограммы привел к 79%-й точности и временному интервалу и функциям частотного диапазона вместе с ансамблем, узнающим, что подход (AdaBoost) привел к 82%-й точности на наборе тестов [2] [3]. Недавно, разреженный подход машинного обучения представления достиг приблизительно 89%-й точности [6].

Загрузите данные

Первый шаг должен загрузить Набор Жанра GTZAN [7] [8]. Инструкции в этом примере принимают, что вы загружаете набор данных на свою временную директорию, tempdir, в MATLAB®. Если вы принимаете решение загрузить данные в папке, отличающейся от tempdir, измените имя каталога в последующих инструкциях. Используйте gunzip загрузить и распаковать набор данных. Затем используйте untar извлекать содержимое файла tar. Папка genres создается в tempdir. В genres десять подпапок, один для каждого музыкального жанра.

dataURL = 'http://opihi.cs.uvic.ca/sound/genres.tar.gz';
gunzip(dataURL,tempdir)                       % creates genres.tar in tempdir
untar(fullfile(tempdir,'genres.tar'),tempdir) % creates genres folder

Среда рассеивания вейвлета

Единственные параметры, чтобы задать в сети рассеивания времени вейвлета являются длительностью инвариантности времени, количеством наборов фильтров вейвлета и количеством вейвлетов на октаву. Для большинства приложений, располагая каскадом данные через два набора фильтров вейвлета достаточно. В этом примере мы используем сеть рассеивания значения по умолчанию, которая использует два набора фильтров вейвлета. Первый набор фильтров имеет 8 вейвлетов на октаву, и второй набор фильтров имеет 1 вейвлет на октаву. В данном примере установите инвариантную шкалу составлять 0,5 секунды, который соответствует немного больше чем 11 000 выборок для данной частоты дискретизации. Создайте время вейвлета, рассеивая сеть разложения.

sn = waveletScattering('SignalLength',2^19,'SamplingFrequency',22050,...
    'InvarianceScale',0.5);

Чтобы изучить роль шкалы инвариантности, получите и постройте масштабирующийся фильтр вовремя наряду с действительными и мнимыми частями вейвлета самой грубой шкалы от первого набора фильтров. Обратите внимание на то, что поддержка времени масштабирующегося фильтра является по существу 0,5 секундами, как спроектировано. Далее, поддержка времени вейвлета самой грубой шкалы не превышает инвариантную шкалу разложения рассеивания вейвлета.

[fb,f,filterparams] = filterbank(sn);
phi = ifftshift(ifft(fb{1}.phift));
psiL1 = ifftshift(ifft(fb{2}.psift(:,end)));
dt = 1/22050;
time = -2^18*dt:dt:2^18*dt-dt;
scalplt = plot(time,phi,'linewidth',1.5);
hold on
grid on
ylimits = [-3e-4 3e-4];
ylim(ylimits);
plot([-0.25 -0.25],ylimits,'k--');
plot([0.25 0.25],ylimits,'k--');
xlim([-0.6 0.6]);
xlabel('Seconds'); ylabel('Amplitude');
wavplt = plot(time,[real(psiL1) imag(psiL1)]);
legend([scalplt wavplt(1) wavplt(2)],...
    {'Scaling Function','Wavelet-Real Part','Wavelet-Imaginary Part'});
title({'Scaling Function';'Coarsest-Scale Wavelet First Filter Bank'})
hold off

Аудио Datastore

Аудио datastore позволяет вам управлять наборами файлов аудиоданных. Для машины или глубокого обучения, аудио datastore не только управляет потоком аудиоданных из файлов и папок, аудио datastore также управляет ассоциацией меток с данными и обеспечивает способность случайным образом разделить ваши данные в различные наборы для обучения, валидации и тестирования. В этом примере используйте аудио datastore, чтобы управлять музыкальным набором жанра GTZAN. Вспомните, что каждая подпапка набора названа по имени жанра, который это представляет. Установите 'IncludeSubFolders' свойство к true давать аудио datastore команду использовать подпапки и устанавливать 'LabelSource' свойство к 'foldernames' создать метки данных на основе подымен папок. Этот пример принимает, что директория верхнего уровня в вашем tempdir MATLAB директория и называется 'жанрами'. Убедитесь, что location правильный путь к папке данных верхнего уровня на вашей машине. Папка данных верхнего уровня на вашей машине должна содержать десять подпапок каждый названный по имени этих десяти жанров и должна только содержать звуковые файлы, соответствующие тем жанрам.

location = fullfile(tempdir,'genres');
ads = audioDatastore(location,'IncludeSubFolders',true,...
    'LabelSource','foldernames');

Запустите следующее, чтобы получить количество музыкальных жанров в наборе данных.

countEachLabel(ads)

ans=10×2 table
      Label      Count
    _________    _____

    blues         100 
    classical     100 
    country       100 
    disco         100 
    hiphop        100 
    jazz          100 
    metal         100 
    pop           100 
    reggae        100 
    rock          100 

Как ранее утверждено, существует 10 жанров с 100 файлами каждый.

Наборы обучающих данных и наборы тестов

Создайте наборы обучающих данных и наборы тестов, чтобы разработать и протестировать наш классификатор. Мы используем 80% данных для обучения и протягиваем остающиеся 20% для тестирования. shuffle функция аудио datastore случайным образом переставляет данные. Сделайте это до разделения данных меткой, чтобы рандомизировать данные. В этом примере мы устанавливаем seed генератора случайных чисел для воспроизводимости. Используйте аудио datastore splitEachLabel функция, чтобы выполнить разделение 80-20. splitEachLabel гарантирует, что все классы одинаково представлены.

rng(100)
ads = shuffle(ads);
[adsTrain,adsTest] = splitEachLabel(ads,0.8);
countEachLabel(adsTrain)

ans=10×2 table
      Label      Count
    _________    _____

    blues         80  
    classical     80  
    country       80  
    disco         80  
    hiphop        80  
    jazz          80  
    metal         80  
    pop           80  
    reggae        80  
    rock          80  

countEachLabel(adsTest)

ans=10×2 table
      Label      Count
    _________    _____

    blues         20  
    classical     20  
    country       20  
    disco         20  
    hiphop        20  
    jazz          20  
    metal         20  
    pop           20  
    reggae        20  
    rock          20  

Вы видите, что существует 800 записей в обучающих данных как ожидалось и 200 записей в тестовых данных. Кроме того, существует 80 примеров каждого жанра в наборе обучающих данных и 20 примеров каждого жанра в наборе тестов.

Чтобы получить рассеивающиеся функции, используйте функцию помощника, helperbatchscatfeatures, это получает натуральный логарифм рассеивающихся функций $$2^{19}$$ выборки каждого звукового файла и подвыборки количество рассеивающихся окон 6. Исходный код для helperbatchscatfeatures перечислен в приложении. Функции рассеивания вейвлета вычисляются с помощью пакетного размера 64 сигналов.

Если вы имеете Parallel Computing Toolbox™ и поддерживаемый графический процессор, устанавливаете useGPU к true в следующем коде и рассеивающемся преобразовании будет вычислен с помощью графического процессора. Используя Титана NVIDIA V графических процессоров с пакетным размером 64, рассеивающиеся функции в этом примере были вычислены приблизительно в 9 раз быстрее, чем использование центрального процессора.

N = 2^19;
batchsize = 64;
scTrain = [];
useGPU = false; % Set to true to use the GPU

while hasdata(adsTrain)
    sc = helperbatchscatfeatures(adsTrain,sn,N,batchsize,useGPU);
    scTrain = cat(3,scTrain,sc);
end

Запишите количество окон времени в рассеивающемся преобразовании для создания метки.

numTimeWindows = size(scTrain,2);

В этом примере существует 43 раза окна или системы координат, для каждого пути к рассеиванию.

Повторите тот же процесс извлечения признаков для тестовых данных.

scTest = [];

while hasdata(adsTest)
   sc = helperbatchscatfeatures(adsTest,sn,N,batchsize,useGPU);
   scTest = cat(3,scTest,sc); 
end

Определите количество путей в рассеивающейся сети и измените обучение и протестируйте функции в 2D матрицы.

[~,npaths] = sn.paths();
Npaths = sum(npaths);
TrainFeatures = permute(scTrain,[2 3 1]);
TrainFeatures = reshape(TrainFeatures,[],Npaths,1);
TestFeatures = permute(scTest,[2 3 1]);
TestFeatures = reshape(TestFeatures,[],Npaths,1);

Каждая строка TrainFeatures и TestFeatures одно окно времени рассеивания через эти 334 пути в рассеивающемся преобразовании каждого звукового сигнала. Для каждой музыкальной выборки у нас есть 43 таких окна времени. Соответственно, матрица функции для обучающих данных 34400 334. Количество строк равно количеству учебных примеров (800) умноженный на количество рассеивающихся окон на пример (43). Точно так же рассеивающаяся матрица функции для тестовых данных 8600 334. Существует 200 тестовых примеров и 43 окна на пример. Создайте метку жанра для каждого из этих 43 окон в вейвлете, рассеивающем матрицу функции для обучающих данных.

trainLabels = adsTrain.Labels;
numTrainSignals = numel(trainLabels);
trainLabels = repmat(trainLabels,1,numTimeWindows);
trainLabels = reshape(trainLabels',numTrainSignals*numTimeWindows,1);

Повторите процесс для тестовых данных.

testLabels = adsTest.Labels;
numTestSignals = numel(testLabels);
testLabels = repmat(testLabels,1,numTimeWindows);
testLabels = reshape(testLabels',numTestSignals*numTimeWindows,1);

В этом примере используйте классификатор машины опорных векторов (SVM) мультикласса с ядром кубического полинома. Соответствуйте SVM к обучающим данным.

template = templateSVM(...
    'KernelFunction', 'polynomial', ...
    'PolynomialOrder', 3, ...
    'KernelScale', 'auto', ...
    'BoxConstraint', 1, ...
    'Standardize', true);
Classes = {'blues','classical','country','disco','hiphop','jazz',...
    'metal','pop','reggae','rock'};
classificationSVM = fitcecoc(...
    TrainFeatures, ...
    trainLabels, ...
    'Learners', template, ...
    'Coding', 'onevsone','ClassNames',categorical(Classes));

Предсказание набора тестов

Используйте подгонку модели SVM к рассеивающимся преобразованиям обучающих данных, чтобы предсказать музыкальные жанры для тестовых данных. Отзыв там является 43 разами окна для каждого сигнала в рассеивающемся преобразовании. Используйте голосование простого большинства, чтобы предсказать жанр. Функция помощника helperMajorityVote получает режим меток жанра по всем 43 рассеивающимся окнам. Если нет никакого уникального режима, helperMajorityVote возвращает ошибку классификации, обозначенную 'NoUniqueMode'. Это приводит к дополнительному столбцу в матрице беспорядка. Исходный код для helperMajorityVote перечислен в приложении.

predLabels = predict(classificationSVM,TestFeatures);
[TestVotes,TestCounts] = helperMajorityVote(predLabels,adsTest.Labels,categorical(Classes));
testAccuracy = sum(eq(TestVotes,adsTest.Labels))/numTestSignals*100

testAccuracy = 87.5000

Тестовая точность, testAccuracy, приблизительно 88 процентов. Эта точность сопоставима с состоянием набора данных GTZAN.

Отобразите матрицу беспорядка, чтобы смотреть степени точности жанра жанром. Отзыв там является 20 примерами в каждом классе.

confusionchart(TestVotes,adsTest.Labels)

Диагональ матричного графика беспорядка показывает, что точность классификации для отдельных жанров довольно хороша в целом. Извлеките эту точность жанра и постройте отдельно.

cm = confusionmat(TestVotes,adsTest.Labels);
cm(:,end) = [];
genreAccuracy = diag(cm)./20*100;
figure;
bar(genreAccuracy)
set(gca,'XTickLabels',Classes);
xtickangle(gca,30);
title('Percentage Correct by Genre - Test Set');

Сводные данные

Этот пример продемонстрировал использование времени вейвлета, рассеявшись и аудио datastore в музыкальной классификации жанров. В этом примере рассеивание времени вейвлета достигло точности классификации, сопоставимой с современной эффективностью для набора данных GTZAN. В противоположность другим подходам, требующим экстракции многого временного интервала и функций частотного диапазона, вейвлет, рассеивающийся только, потребовал спецификации одного параметра, шкалы независимого от времени. Аудио datastore позволил нам эффективно справиться с передачей большого набора данных от диска в MATLAB и разрешил нам рандомизировать данные и точно сохранять членство в жанре рандомизированных данных через рабочий процесс классификации.

Ссылки

Приложение - поддерживание функций

helperMajorityVote - Эта функция возвращает режим меток класса, предсказанных по многим характеристическим векторам. Во время вейвлета, рассеиваясь, мы получаем метку класса в течение каждого раза окно. Если никакой уникальный режим не найден меткой 'NoUniqueMode' возвращен, чтобы обозначить ошибку классификации.

type helperMajorityVote

function [ClassVotes,ClassCounts] = helperMajorityVote(predLabels,origLabels,classes)
% This function is in support of wavelet scattering examples only. It may
% change or be removed in a future release.

% Make categorical arrays if the labels are not already categorical
predLabels = categorical(predLabels);
origLabels = categorical(origLabels);
% Expects both predLabels and origLabels to be categorical vectors
Npred = numel(predLabels);
Norig = numel(origLabels);
Nwin = Npred/Norig;
predLabels = reshape(predLabels,Nwin,Norig);
ClassCounts = countcats(predLabels);
[mxcount,idx] = max(ClassCounts);
ClassVotes = classes(idx);
% Check for any ties in the maximum values and ensure they are marked as
% error if the mode occurs more than once
tmpsum = sum(ClassCounts == mxcount);
ClassVotes(tmpsum > 1) = categorical({'NoUniqueMode'});
ClassVotes = ClassVotes(:);

helperbatchscatfeatures - Эта функция возвращает время вейвлета, рассеивая матрицу функции для данного входного сигнала. В этом случае мы используем натуральный логарифм коэффициентов рассеивания вейвлета. Рассеивающаяся матрица функции вычисляется на $$2^{19}$$ выборки сигнала. Рассеивающиеся функции подпроизводятся на коэффициент 6. Если useGPU установлен в true, рассеивающееся преобразование вычисляется на графическом процессоре.

function sc = helperbatchscatfeatures(ds,sn,N,batchsize,useGPU)
% This function is only intended to support examples in the Wavelet
% Toolbox. It may be changed or removed in a future release.

% Read batch of data from audio datastore
batch = helperReadBatch(ds,N,batchsize);
if useGPU
    batch = gpuArray(batch);
end

% Obtain scattering features
S = sn.featureMatrix(batch,'transform','log');
gather(batch);
S = gather(S);
    
% Subsample the features
sc = S(:,1:6:end,:);
end

helperReadBatch - Эта функция читает пакеты заданного размера от datastore и возвращает выходной параметр в одинарной точности. Каждый столбец выхода является отдельным сигналом от datastore. Выход может иметь меньше столбцов, чем batchsize, если datastore не имеет достаточного количества записей.

function batchout = helperReadBatch(ds,N,batchsize)
% This function is only in support of Wavelet Toolbox examples. It may
% change or be removed in a future release.
%
% batchout = readReadBatch(ds,N,batchsize) where ds is the Datastore and
%   ds is the Datastore
%   batchsize is the batchsize

kk = 1;

while(hasdata(ds)) && kk <= batchsize
    tmpRead = read(ds);
    batchout(:,kk) = cast(tmpRead(1:N),'single'); %#ok<AGROW>
    kk = kk+1;
end

end