В этом примере показано, как классифицировать жанр музыкальной выборки с помощью времени вейвлета, рассеявшись и аудио datastore. В рассеивании вейвлета данные распространены через серию вейвлета, преобразовывает, нелинейность и усреднение, чтобы произвести представления низкого отклонения данных. Эти представления низкого отклонения затем используются в качестве входных параметров к классификатору.
Набор данных, используемый в этом примере, является Набором Жанра GTZAN [7] [8]. Данные обеспечиваются как заархивированный архив tar, который составляет приблизительно 1,2 Гбайт. Несжатый набор данных требует приблизительно 3 Гбайт дискового пространства. Извлечение сжатого файла tar от ссылки, обеспеченной в ссылках, создает папку с десятью подпапками. Каждая подпапка названа по имени жанра музыкальных выборок, которые это содержит. Жанры: блюз, классический, страна, дискотека, хип-хоп, джаз, металл, поп, регги и скала. Существует 100 примеров каждого жанра, и каждый звуковой файл состоит приблизительно из 30 секунд данных, произведенных на уровне 22 050 Гц. В исходной газете авторы использовали много временных интервалов и функций частотного диапазона включая коэффициенты mel-частоты cepstral (MFC), извлеченные из каждого музыкального примера и классификации смешанных гауссовских моделей (GMM), чтобы достигнуть точности 61 процента [7]. Впоследствии, нейронные сети для глубокого обучения были применены к этим данным. В большинстве случаев эти подходы глубокого обучения состоят из сверточных нейронных сетей (CNN) с коэффициентами MFC или спектрограммами как вход к глубокому CNN. Эти подходы привели к эффективности приблизительно 84% [4]. Подход LSTM с интервалами времени спектрограммы привел к 79%-й точности и временному интервалу и функциям частотного диапазона вместе с ансамблем, узнающим, что подход (AdaBoost) привел к 82%-й точности на наборе тестов [2] [3]. Недавно, разреженный подход машинного обучения представления достиг приблизительно 89%-й точности [6].
Первый шаг должен загрузить Набор Жанра GTZAN [7] [8]. Инструкции в этом примере принимают, что вы загружаете набор данных на свою временную директорию, tempdir
, в MATLAB®. Если вы принимаете решение загрузить данные в папке, отличающейся от tempdir
, измените имя каталога в последующих инструкциях. Используйте gunzip
загрузить и распаковать набор данных. Затем используйте untar
извлекать содержимое файла tar. Папка genres
создается в tempdir
. В genres
десять подпапок, один для каждого музыкального жанра.
dataURL = 'http://opihi.cs.uvic.ca/sound/genres.tar.gz'; gunzip(dataURL,tempdir) % creates genres.tar in tempdir untar(fullfile(tempdir,'genres.tar'),tempdir) % creates genres folder
Единственные параметры, чтобы задать в сети рассеивания времени вейвлета являются длительностью инвариантности времени, количеством наборов фильтров вейвлета и количеством вейвлетов на октаву. Для большинства приложений, располагая каскадом данные через два набора фильтров вейвлета достаточно. В этом примере мы используем сеть рассеивания значения по умолчанию, которая использует два набора фильтров вейвлета. Первый набор фильтров имеет 8 вейвлетов на октаву, и второй набор фильтров имеет 1 вейвлет на октаву. В данном примере установите инвариантную шкалу составлять 0,5 секунды, который соответствует немного больше чем 11 000 выборок для данной частоты дискретизации. Создайте время вейвлета, рассеивая сеть разложения.
sn = waveletScattering('SignalLength',2^19,'SamplingFrequency',22050,... 'InvarianceScale',0.5);
Чтобы изучить роль шкалы инвариантности, получите и постройте масштабирующийся фильтр вовремя наряду с действительными и мнимыми частями вейвлета самой грубой шкалы от первого набора фильтров. Обратите внимание на то, что поддержка времени масштабирующегося фильтра является по существу 0,5 секундами, как спроектировано. Далее, поддержка времени вейвлета самой грубой шкалы не превышает инвариантную шкалу разложения рассеивания вейвлета.
[fb,f,filterparams] = filterbank(sn); phi = ifftshift(ifft(fb{1}.phift)); psiL1 = ifftshift(ifft(fb{2}.psift(:,end))); dt = 1/22050; time = -2^18*dt:dt:2^18*dt-dt; scalplt = plot(time,phi,'linewidth',1.5); hold on grid on ylimits = [-3e-4 3e-4]; ylim(ylimits) plot([-0.25 -0.25],ylimits,'k--') plot([0.25 0.25],ylimits,'k--') xlim([-0.6 0.6]) xlabel('Seconds') ylabel('Amplitude') wavplt = plot(time,[real(psiL1) imag(psiL1)]); legend([scalplt wavplt(1) wavplt(2)],... {'Scaling Function','Wavelet-Real Part','Wavelet-Imaginary Part'}) title({'Scaling Function';'Coarsest-Scale Wavelet First Filter Bank'}) hold off
Аудио datastore позволяет вам управлять наборами файлов аудиоданных. Для машины или глубокого обучения, аудио datastore не только управляет потоком аудиоданных из файлов и папок, аудио datastore также управляет ассоциацией меток с данными и обеспечивает способность случайным образом разделить ваши данные в различные наборы для обучения, валидации и тестирования. В этом примере используйте аудио datastore, чтобы управлять музыкальным набором жанра GTZAN. Вспомните, что каждая подпапка набора названа по имени жанра, который это представляет. Установите 'IncludeSubFolders'
свойство к true
давать аудио datastore команду использовать подпапки и устанавливать 'LabelSource'
свойство к 'foldernames'
создать метки данных на основе подымен папок. Этот пример принимает, что директория верхнего уровня в вашем tempdir
MATLAB директория и называется 'жанрами'. Убедитесь, что
location
правильный путь к папке данных верхнего уровня на вашей машине. Папка данных верхнего уровня на вашей машине должна содержать десять подпапок каждый названный по имени этих десяти жанров и должна только содержать звуковые файлы, соответствующие тем жанрам.
location = fullfile(tempdir,'genres'); ads = audioDatastore(location,'IncludeSubFolders',true,... 'LabelSource','foldernames');
Запустите следующее, чтобы получить количество музыкальных жанров в наборе данных.
countEachLabel(ads)
ans=10×2 table
Label Count
_________ _____
blues 100
classical 100
country 100
disco 100
hiphop 100
jazz 100
metal 100
pop 100
reggae 100
rock 100
Как ранее утверждено, существует 10 жанров с 100 файлами каждый.
Создайте наборы обучающих данных и наборы тестов, чтобы разработать и протестировать наш классификатор. Мы используем 80% данных для обучения и протягиваем остающиеся 20% для тестирования. shuffle
функция аудио datastore случайным образом переставляет данные. Сделайте это до разделения данных меткой, чтобы рандомизировать данные. В этом примере мы устанавливаем начальное значение генератора случайных чисел для воспроизводимости. Используйте аудио datastore splitEachLabel
функция, чтобы выполнить разделение 80-20. splitEachLabel
гарантирует, что все классы одинаково представлены.
rng(100) ads = shuffle(ads); [adsTrain,adsTest] = splitEachLabel(ads,0.8); countEachLabel(adsTrain)
ans=10×2 table
Label Count
_________ _____
blues 80
classical 80
country 80
disco 80
hiphop 80
jazz 80
metal 80
pop 80
reggae 80
rock 80
countEachLabel(adsTest)
ans=10×2 table
Label Count
_________ _____
blues 20
classical 20
country 20
disco 20
hiphop 20
jazz 20
metal 20
pop 20
reggae 20
rock 20
Вы видите, что существует 800 записей в обучающих данных как ожидалось и 200 записей в тестовых данных. Кроме того, существует 80 примеров каждого жанра в наборе обучающих данных и 20 примеров каждого жанра в наборе тестов.
Чтобы получить рассеивающиеся функции, используйте функцию помощника, helperbatchscatfeatures
, это получает натуральный логарифм рассеивающихся функций выборки каждого звукового файла и подвыборки количество рассеивающихся окон 6. Исходный код для helperbatchscatfeatures
перечислен в приложении. Функции рассеивания вейвлета вычисляются с помощью пакетного размера 64 сигналов.
Если вы имеете Parallel Computing Toolbox™ и поддерживаемый графический процессор, устанавливаете useGPU
к true
в следующем коде и рассеивающемся преобразовании будет вычислен с помощью графического процессора. Используя Титана NVIDIA V графических процессоров с пакетным размером 64, рассеивающиеся функции в этом примере были вычислены приблизительно в 9 раз быстрее, чем использование центрального процессора.
N = 2^19; batchsize = 64; scTrain = []; useGPU = false; % Set to true to use the GPU while hasdata(adsTrain) sc = helperbatchscatfeatures(adsTrain,sn,N,batchsize,useGPU); scTrain = cat(3,scTrain,sc); end
Запишите количество окон времени в рассеивающемся преобразовании для создания метки.
numTimeWindows = size(scTrain,2);
В этом примере существует 43 раза окна или системы координат, для каждого пути к рассеиванию.
Повторите тот же процесс извлечения признаков для тестовых данных.
scTest = []; while hasdata(adsTest) sc = helperbatchscatfeatures(adsTest,sn,N,batchsize,useGPU); scTest = cat(3,scTest,sc); end
Определите количество путей в рассеивающейся сети и измените обучение и протестируйте функции в 2D матрицы.
[~,npaths] = sn.paths(); Npaths = sum(npaths); TrainFeatures = permute(scTrain,[2 3 1]); TrainFeatures = reshape(TrainFeatures,[],Npaths); TestFeatures = permute(scTest,[2 3 1]); TestFeatures = reshape(TestFeatures,[],Npaths);
Каждая строка TrainFeatures
и TestFeatures
одно окно времени рассеивания через эти 334 пути в рассеивающемся преобразовании каждого звукового сигнала. Для каждой музыкальной выборки у нас есть 43 таких окна времени. Соответственно, матрица функции для обучающих данных 34400 334. Количество строк равно количеству учебных примеров (800) умноженный на количество рассеивающихся окон на пример (43). Точно так же рассеивающаяся матрица функции для тестовых данных 8600 334. Существует 200 тестовых примеров и 43 окна на пример. Создайте метку жанра для каждого из этих 43 окон в вейвлете, рассеивающем матрицу функции для обучающих данных.
trainLabels = adsTrain.Labels; numTrainSignals = numel(trainLabels); trainLabels = repmat(trainLabels,1,numTimeWindows); trainLabels = reshape(trainLabels',numTrainSignals*numTimeWindows,1);
Повторите процесс для тестовых данных.
testLabels = adsTest.Labels; numTestSignals = numel(testLabels); testLabels = repmat(testLabels,1,numTimeWindows); testLabels = reshape(testLabels',numTestSignals*numTimeWindows,1);
В этом примере используйте классификатор машины опорных векторов (SVM) мультикласса с ядром кубического полинома. Соответствуйте SVM к обучающим данным.
template = templateSVM(... 'KernelFunction', 'polynomial', ... 'PolynomialOrder', 3, ... 'KernelScale', 'auto', ... 'BoxConstraint', 1, ... 'Standardize', true); Classes = {'blues','classical','country','disco','hiphop','jazz',... 'metal','pop','reggae','rock'}; classificationSVM = fitcecoc(... TrainFeatures, ... trainLabels, ... 'Learners', template, ... 'Coding', 'onevsone','ClassNames',categorical(Classes));
Используйте подгонку модели SVM к рассеивающимся преобразованиям обучающих данных, чтобы предсказать музыкальные жанры для тестовых данных. Отзыв там является 43 разами окна для каждого сигнала в рассеивающемся преобразовании. Используйте голосование простого большинства, чтобы предсказать жанр. Функция помощника helperMajorityVote
получает режим меток жанра по всем 43 рассеивающимся окнам. Если нет никакого уникального режима, helperMajorityVote
возвращает ошибку классификации, обозначенную 'NoUniqueMode'
. Это приводит к дополнительному столбцу в матрице беспорядка. Исходный код для helperMajorityVote
перечислен в приложении.
predLabels = predict(classificationSVM,TestFeatures); [TestVotes,TestCounts] = helperMajorityVote(predLabels,adsTest.Labels,categorical(Classes)); testAccuracy = sum(eq(TestVotes,adsTest.Labels))/numTestSignals*100
testAccuracy = 87.5000
Тестовая точность, testAccuracy
, приблизительно 88 процентов. Эта точность сопоставима с состоянием набора данных GTZAN.
Отобразите матрицу беспорядка, чтобы смотреть степени точности жанра жанром. Отзыв там является 20 примерами в каждом классе.
cm = confusionchart(adsTest.Labels,TestVotes);
Диагональ матричного графика беспорядка показывает, что точность классификации для отдельных жанров довольно хороша в целом. Извлеките эту точность жанра и постройте отдельно.
cmat = cm.NormalizedValues; cmat(end,:) = []; genreAccuracy = diag(cmat)./20*100; figure bar(genreAccuracy) set(gca,'XTickLabels',Classes) xtickangle(gca,30) title('Percentage Correct by Genre - Test Set')
Этот пример продемонстрировал использование времени вейвлета, рассеявшись и аудио datastore в музыкальной классификации жанров. В этом примере рассеивание времени вейвлета достигло точности классификации, сопоставимой с современной эффективностью для набора данных GTZAN. В противоположность другим подходам, требующим экстракции многого временного интервала и функций частотного диапазона, вейвлет, рассеивающийся только, потребовал спецификации одного параметра, шкалы независимого от времени. Аудио datastore позволил нам эффективно справиться с передачей большого набора данных от диска в MATLAB и разрешил нам рандомизировать данные и точно сохранять членство в жанре рандомизированных данных через рабочий процесс классификации.
Anden, J. и Mallat, S. 2014. Глубоко рассеивание спектра. Транзакции IEEE на Обработке сигналов, Издании 62, 16, стр 4114-4128.
Bergstra, J., Casagrande, N., Erhan, D., Eck, D. и Kegl, B. Совокупные функции и AdaBoost для музыкальной классификации. Машинное обучение, Издание 65, Выпуск 2-3, стр 473-484.
Ирвин, J., Chartock, E. и Hollander, N. 2016. Рекуррентные нейронные сети с вниманием для классификации жанров. https://www.semanticscholar.org/paper/Recurrent-Neural-Networks-with-Attention-for-Genre-Irvin/6da301817851f19107447e4c72e682e3f183ae8a
Литий, T., Канал, A.B., и Чун, A. 2010. Автоматическая музыкальная сверточная нейронная сеть использования извлечения признаков шаблона. Анализ данных Международной конференции и Приложения.
Mallat. S. 2012. Рассеивание инварианта группы. Коммуникации на Чистой и Прикладной математике, Издании 65, 10, стр 1331-1398.
Panagakis, Y., Котропулос, C.L., и Арке, G.R. 2014. Музыкальная классификация жанров через объединенное разреженное представление низкого ранга функций аудио. Транзакции IEEE на Аудио, Речи и Обработке Языка, 22, 12, стр 1905-1917.
Tzanetakis, G. и Повар, P. 2002. Музыкальная классификация жанров звуковых сигналов. Транзакции IEEE о Речи и Обработке аудиоданных, Издании 10, № 5, стр 293-302.
Набор жанра GTZAN. http://marsyas.info/downloads/datasets.html
helperMajorityVote - Эта функция возвращает режим меток класса, предсказанных по многим характеристическим векторам. Во время вейвлета, рассеиваясь, мы получаем метку класса в течение каждого раза окно. Если никакой уникальный режим не найден меткой 'NoUniqueMode'
возвращен, чтобы обозначить ошибку классификации.
type helperMajorityVote
function [ClassVotes,ClassCounts] = helperMajorityVote(predLabels,origLabels,classes) % This function is in support of wavelet scattering examples only. It may % change or be removed in a future release. % Make categorical arrays if the labels are not already categorical predLabels = categorical(predLabels); origLabels = categorical(origLabels); % Expects both predLabels and origLabels to be categorical vectors Npred = numel(predLabels); Norig = numel(origLabels); Nwin = Npred/Norig; predLabels = reshape(predLabels,Nwin,Norig); ClassCounts = countcats(predLabels); [mxcount,idx] = max(ClassCounts); ClassVotes = classes(idx); % Check for any ties in the maximum values and ensure they are marked as % error if the mode occurs more than once tmpsum = sum(ClassCounts == mxcount); ClassVotes(tmpsum > 1) = categorical({'NoUniqueMode'}); ClassVotes = ClassVotes(:);
helperbatchscatfeatures - Эта функция возвращает время вейвлета, рассеивая матрицу функции для данного входного сигнала. В этом случае мы используем натуральный логарифм коэффициентов рассеивания вейвлета. Рассеивающаяся матрица функции вычисляется на выборки сигнала. Рассеивающиеся функции подпроизводятся на коэффициент 6. Если useGPU
установлен в true
, рассеивающееся преобразование вычисляется на графическом процессоре.
function sc = helperbatchscatfeatures(ds,sn,N,batchsize,useGPU) % This function is only intended to support examples in the Wavelet % Toolbox. It may be changed or removed in a future release. % Read batch of data from audio datastore batch = helperReadBatch(ds,N,batchsize); if useGPU batch = gpuArray(batch); end % Obtain scattering features S = sn.featureMatrix(batch,'transform','log'); gather(batch); S = gather(S); % Subsample the features sc = S(:,1:6:end,:); end
helperReadBatch - Эта функция читает пакеты заданного размера от datastore и возвращает выходной параметр в одинарной точности. Каждый столбец выхода является отдельным сигналом от datastore. Выход может иметь меньше столбцов, чем batchsize, если datastore не имеет достаточного количества записей.
function batchout = helperReadBatch(ds,N,batchsize) % This function is only in support of Wavelet Toolbox examples. It may % change or be removed in a future release. % % batchout = readReadBatch(ds,N,batchsize) where ds is the Datastore and % ds is the Datastore % batchsize is the batchsize kk = 1; while(hasdata(ds)) && kk <= batchsize tmpRead = read(ds); batchout(:,kk) = cast(tmpRead(1:N),'single'); %#ok<AGROW> kk = kk+1; end end