Извлечь i-вектор
i-векторная система состоит из обучаемого переднего конца, который учится извлекать i-векторы на основе немаркированных данных, и обучаемого заднего конца, который учится классифицировать i-векторы на основе маркированных данных. В этом примере к задаче распознавания слов применяется i-векторная система. Во-первых, оценить точность i-векторной системы с помощью классификаторов, входящих в традиционную i-векторную систему: вероятностного линейного дискриминантного анализа (PLDA) и косинусной оценки подобия (CSS). Затем оцените точность системы, если вы замените классификатор на двунаправленную сеть долговременной памяти (BiLSTM) или классификатор К-ближайших соседей.
Создание наборов обучения и проверки
Загрузите набор данных свободной речевой цифры (FSDD) [1]. FSDD состоит из коротких аудиофайлов с произносимыми цифрами (0-9).
url = "https://ssd.mathworks.com/supportfiles/audio/FSDD.zip"; downloadFolder = tempdir; datasetFolder = fullfile(downloadFolder,'FSDD'); if ~exist(datasetFolder,'dir') fprintf('Downloading Free Spoken Digit Dataset ...\n') unzip(url,datasetFolder) end
Создание audioDatastore для указания на записи. Получение частоты дискретизации набора данных.
ads = audioDatastore(datasetFolder,'IncludeSubfolders',true);
[~,adsInfo] = read(ads);
fs = adsInfo.SampleRate;Первым элементом имен файлов является цифра, произносимая в файле. Получить первый элемент имен файлов, преобразовать их в категориальные, а затем установить Labels имущества audioDatastore.
[~,filenames] = cellfun(@(x)fileparts(x),ads.Files,'UniformOutput',false);
ads.Labels = categorical(string(cellfun(@(x)x(1),filenames)));Чтобы разделить хранилище данных на набор разработок и набор проверки, используйте splitEachLabel. Распределите 80% данных для разработки и оставшиеся 20% для проверки.
[adsTrain,adsValidation] = splitEachLabel(ads,0.8);
Оценка традиционной производительности внутреннего сервера i-vector
Создайте i-векторную систему, которая ожидает ввод звука с частотой дискретизации 8 кГц и не выполняет обнаружение речи.
wordRecognizer = ivectorSystem('DetectSpeech',false,"SampleRate",fs)
wordRecognizer =
ivectorSystem with properties:
InputType: 'audio'
SampleRate: 8000
DetectSpeech: 0
EnrolledLabels: [0×2 table]
Обучите экстрактор i-вектора, используя данные из обучающего набора.
trainExtractor(wordRecognizer,adsTrain, ... "UBMNumComponents",512, ... "UBMNumIterations",5, ... ... "TVSRank",128, ... "TVSNumIterations",3);
Calculating standardization factors ....done. Training universal background model ........done. Training total variability space ...done. i-vector extractor training complete.
Выполните обучение i-векторного классификатора с использованием данных из набора обучающих данных и соответствующих меток.
trainClassifier(wordRecognizer,adsTrain,adsTrain.Labels, ... "NumEigenvectors",16, ... ... "PLDANumDimensions",16, ... "PLDANumIterations",3);
Extracting i-vectors ...done. Training projection matrix .....done. Training PLDA model ......done. i-vector classifier training complete.
Зарегистрируйте этикетки в системе, используя весь набор обучения.
enroll(wordRecognizer,adsTrain,adsTrain.Labels)
Extracting i-vectors ...done. Enrolling i-vectors .............done. Enrollment complete.
В цикле считывайте аудио из хранилища данных проверки, идентифицируйте наиболее вероятное слово, присутствующее в соответствии с указанным бомбардиром, и сохраните прогноз для анализа.
trueLabels = adsValidation.Labels; predictedLabels = trueLabels; reset(adsValidation) scorer ="plda"; for ii = 1:numel(trueLabels) audioIn = read(adsValidation); to = identify(wordRecognizer,audioIn,scorer); predictedLabels(ii) = to.Label(1); end
Отображение таблицы путаницы производительности i-векторной системы в наборе проверки.
figure('Units','normalized','Position',[0.2 0.2 0.5 0.5]) confusionchart(trueLabels,predictedLabels, ... 'ColumnSummary','column-normalized', ... 'RowSummary','row-normalized', ... 'Title',sprintf('Accuracy = %0.2f (%%)',100*mean(predictedLabels==trueLabels)))
Оцените производительность бэкэнда глубокого обучения
Затем выполните обучение полностью подключенной сети с использованием i-векторов в качестве входных данных.
ivectorsTrain = (ivector(wordRecognizer,adsTrain))'; ivectorsValidation = (ivector(wordRecognizer,adsValidation))';
Определите полностью подключенную сеть.
layers = [ ... featureInputLayer(size(ivectorsTrain,2),'Normalization',"none") fullyConnectedLayer(128) dropoutLayer(0.4) fullyConnectedLayer(256) dropoutLayer(0.4) fullyConnectedLayer(256) dropoutLayer(0.4) fullyConnectedLayer(128) dropoutLayer(0.4) fullyConnectedLayer(numel(unique(adsTrain.Labels))) softmaxLayer classificationLayer];
Определение параметров обучения.
miniBatchSize = 256; validationFrequency = floor(numel(adsTrain.Labels)/miniBatchSize); options = trainingOptions("adam", ... "MaxEpochs",10, ... "MiniBatchSize",miniBatchSize, ... "Plots","training-progress", ... "Verbose",false, ... "Shuffle","every-epoch", ... "ValidationData",{ivectorsValidation,adsValidation.Labels}, ... "ValidationFrequency",validationFrequency);
Обучение сети.
net = trainNetwork(ivectorsTrain,adsTrain.Labels,layers,options);
Оцените производительность бэкэнда глубокого обучения с помощью таблицы путаницы.
predictedLabels = classify(net,ivectorsValidation); trueLabels = adsValidation.Labels; figure('Units','normalized','Position',[0.2 0.2 0.5 0.5]) confusionchart(trueLabels,predictedLabels, ... 'ColumnSummary','column-normalized', ... 'RowSummary','row-normalized', ... 'Title',sprintf('Accuracy = %0.2f (%%)',100*mean(predictedLabels==trueLabels)))
Оценка производительности внутреннего сервера KNN
Обучение и оценка i-векторов с помощью бэкэнда k-ближайшего соседа (KNN).
Использовать fitcknn для обучения модели KNN.
classificationKNN = fitcknn(... ivectorsTrain, ... adsTrain.Labels, ... 'Distance','Euclidean', ... 'Exponent',[], ... 'NumNeighbors',10, ... 'DistanceWeight','SquaredInverse', ... 'Standardize',true, ... 'ClassNames',unique(adsTrain.Labels));
Проанализируйте бэкэнд KNN.
predictedLabels = predict(classificationKNN,ivectorsValidation); trueLabels = adsValidation.Labels; figure('Units','normalized','Position',[0.2 0.2 0.5 0.5]) confusionchart(trueLabels,predictedLabels, ... 'ColumnSummary','column-normalized', ... 'RowSummary','row-normalized', ... 'Title',sprintf('Accuracy = %0.2f (%%)',100*mean(predictedLabels==trueLabels)))
Ссылки
[1] Якобовски. «Jakobovski/Free-Spoken-Digit-Dataset». GitHub, 30 мая 2019 года. https://github.com/Jakobovski/free-spoken-digit-dataset.
detectionErrorTradeoff | enroll | identify | info | ivectorSystem | release | trainClassifier | trainExtractor | unenroll | verify