Оцените основную частоту аудиосигнала
f0 = pitch(audioIn,fs,Name,Value)Name,Value аргументы в виде пар.
Считывайте аудиосигнал. Функции pitch для оценки основной частоты с течением времени.
[audioIn,fs] = audioread('Hey.ogg');
f0 = pitch(audioIn,fs);Прослушайте аудиосигнал и постройте график сигнала и тангажа. The pitch функция возвращает оценку основной частоты с течением времени, но оценка действительна только для областей, которые являются гармоническими.
sound(audioIn,fs) tiledlayout(2,1) nexttile plot(audioIn) xlabel('Sample Number') ylabel('Amplitude') nexttile plot(f0) xlabel('Frame Number') ylabel('Pitch (Hz)')
Считайте аудиосигнал и извлеките тангаж.
[x,fs] = audioread('singing-a-major.ogg'); t = (0:size(x,1)-1)/fs; winLength = round(0.05*fs); overlapLength = round(0.045*fs); [f0,idx] = pitch(x,fs,'Method','SRH','WindowLength',winLength,'OverlapLength',overlapLength); tf0 = idx/fs;
Прослушайте аудио и постройте графики оценок аудио и тангажа.
sound(x,fs) figure tiledlayout(2,1) nexttile plot(t,x) ylabel('Amplitude') title('Audio Signal') axis tight nexttile plot(tf0,f0) xlabel('Time (s)') ylabel('Pitch (Hz)') title('Pitch Estimations') axis tight
The pitch функция оценивает тангаж для перекрывающихся окон анализа. Оценки тангажа действительны, только если окно анализа имеет гармонический компонент. Вызовите harmonicRatio функция, использующая то же окно и длину перекрытия, используемую для обнаружения тангажа. Постройте график отношения звука, тангажа и гармоник.
hr = harmonicRatio(x,fs,"Window",hamming(winLength,'periodic'),"OverlapLength",overlapLength); figure tiledlayout(3,1) nexttile plot(t,x) ylabel('Amplitude') title('Audio Signal') axis tight nexttile plot(tf0,f0) ylabel('Pitch (Hz)') title('Pitch Estimations') axis tight nexttile plot(tf0,hr) xlabel('Time (s)') ylabel('Ratio') title('Harmonic Ratio') axis tight
Используйте коэффициент гармоники в качестве порога для допустимых решений тангажа. Если коэффициент гармоники меньше порога, задайте значение тангажа NaN. Постройте график результатов.
threshold = 0.9; f0(hr < threshold) = nan; figure plot(tf0,f0) xlabel('Time (s)') ylabel('Pitch (Hz)') title('Pitch Estimations') grid on
Считывайте аудиосигнал женского голоса, произнося «громкость» пять раз. Слушайте аудио.
[femaleVoice,fs] = audioread('female-volume-up.ogg');
sound(femaleVoice,fs)Считывайте аудиосигнал мужского голоса, произнося «громкость» пять раз. Слушайте аудио.
maleVoice = audioread('male-volume-up.ogg');
sound(maleVoice,fs)Извлеките тангаж из женской и мужской записей. Постройте гистограммы оценок тангажа для мужской и женской аудиозаписей. Гистограммы имеют сходную форму. Это связано с тем, что решения о тангаже содержат результаты для негласной речи и областей молчания.
f0Female = pitch(femaleVoice,fs); f0Male = pitch(maleVoice,fs); figure numBins = 20; histogram(f0Female,numBins,"Normalization","probability"); hold on histogram(f0Male,numBins,"Normalization","probability"); legend('Female Voice','Male Voice') xlabel('Pitch (Hz)') ylabel('Probability') hold off
Используйте detectSpeech функция для изоляции областей речи в аудиосигнале и последующего извлечения тангажа только из этих речевых областей.
speechIndices = detectSpeech(femaleVoice,fs); f0Female = []; for ii = 1:size(speechIndices,1) speechSegment = femaleVoice(speechIndices(ii,1):speechIndices(ii,2)); f0Female = [f0Female;pitch(speechSegment,fs)]; end speechIndices = detectSpeech(maleVoice,fs); f0Male = []; for ii = 1:size(speechIndices,1) speechSegment = maleVoice(speechIndices(ii,1):speechIndices(ii,2)); f0Male = [f0Male;pitch(speechSegment,fs)]; end
Постройте гистограммы оценок тангажа для мужской и женской аудиозаписей. Теперь распределения тангажа появляются должным образом.
figure histogram(f0Female,numBins,"Normalization","probability"); hold on histogram(f0Male,numBins,"Normalization","probability"); legend('Female Voice','Male Voice') xlabel('Pitch (Hz)') ylabel('Probability')
Загрузите аудио файла введения Für Elise и частоты дискретизации аудио.
load FurElise.mat song fs sound(song,fs)
Вызовите pitch функция, использующая фильтр оценки тангажа (PEF), область значений поиска от 50 до 800 Гц, длительность окна 80 мс, длительность перекрытия 70 мс и средняя длина фильтра 10. Постройте график результатов.
method ="PEF"; область значений = [
50,
800]; % hertz winDur =
0.08; % seconds overlapDur =
0.07; % seconds medFiltLength =
10; % frames winLength = round (winDur * fs); olovapLength = round (olovapDur * fs); [f0, loc] = тангаж (песня, fs,... 'Method', метод ,... 'Range', область значений ,... 'WindowLength', winLength ,... 'OverlapLength', overlapLength ,... "MedianFilterLength", medFiltLength); t = loc/fs; график (t, f0) ylabel ('Pitch (Hz)') xlabel ('Time (s)') сетка on
Создайте dsp.AudioFileReader объект для чтения в аудиокадре за кадром.
fileReader = dsp.AudioFileReader('singing-a-major.ogg');Создайте voiceActivityDetector объект для обнаружения присутствия голоса в передаче потокового аудио.
VAD = voiceActivityDetector;
Пока существуют непрочитанные выборки, считайте из файла и определите вероятность того, что система координат содержит голосовую активность. Если система координат содержит голосовую активность, вызовите pitch для оценки основной частоты аудио системы координат. Если система координат не содержит голосовой активности, объявите основную частоту следующим NaN.
f0 = []; while ~isDone(fileReader) x = fileReader(); if VAD(x) > 0.99 decision = pitch(x,fileReader.SampleRate, ... "WindowLength",size(x,1), ... "OverlapLength",0, ... "Range",[200,340]); else decision = NaN; end f0 = [f0;decision]; end
Постройте график обнаруженного контура тангажа с течением времени.
t = linspace(0,(length(f0)*fileReader.SamplesPerFrame)/fileReader.SampleRate,length(f0)); plot(t,f0) ylabel('Fundamental Frequency (Hz)') xlabel('Time (s)') grid on
Различные методы оценки тангажа обеспечивают компромиссы с точки зрения робастности, точности, оптимальной задержки и вычислительных расходов. В этом примере вы сравниваете эффективность различных алгоритмов обнаружения тангажа с точки зрения полной ошибки тангажа (GPE) и времени расчета при различных шумовых условиях.
Подготовка тестовых сигналов
Загрузите аудио файла и определите количество выборок, которые у него есть. Также загружает истинный тангаж, соответствующий звуковой файл. Истинный тангаж был определен как среднее значение нескольких сторонних алгоритмов в чистом речевом файле.
[audioIn,fs] = audioread('Counting-16-44p1-mono-15secs.wav'); numSamples = size(audioIn,1); load TruePitch.mat truePitch
Создайте тестовые сигналы путем добавления шума к аудиосигналу при заданных ОСШ. The mixSNR функция является функцией удобства, локальной к этому примеру, которая принимает сигнал, шум и запрашивает ОСШ и возвращает сигнал с шумом по запросу ОСШ.
testSignals = zeros(numSamples,4); turbine = audioread('Turbine-16-44p1-mono-22secs.wav'); testSignals(:,1) = mixSNR(audioIn,turbine,20); testSignals(:,2) = mixSNR(audioIn,turbine,0); whiteNoiseMaker = dsp.ColoredNoise('Color','white','SamplesPerFrame',size(audioIn,1)); testSignals(:,3) = mixSNR(audioIn,whiteNoiseMaker(),20); testSignals(:,4) = mixSNR(audioIn,whiteNoiseMaker(),0);
Сохраните шумовые условия и имена алгоритмов как массивы ячеек для маркировки и индексации.
noiseConditions = {'Turbine (20 dB)','Turbine (0 dB)','WhiteNoise (20 dB)','WhiteNoise (0 dB)'};
algorithms = {'NCF','PEF','CEP','LHS','SRH'};Запуск алгоритмов обнаружения тангажа
Предварительно выделите массивы, чтобы сохранить решения тангажа для каждого алгоритма и пары условий шума и время выполнения. В цикле вызовите pitch функция на каждой комбинации алгоритма и условия. Каждый алгоритм имеет оптимальную длину окна, связанную с ним. В этом примере для простоты вы используете длину окна по умолчанию для всех алгоритмов. Используйте 3-элементный медианный фильтр для сглаживания решений тангажа.
f0 = zeros(numel(truePitch),numel(algorithms),numel(noiseConditions)); algorithmTimer = zeros(numel(noiseConditions),numel(algorithms)); for k = 1:numel(noiseConditions) x = testSignals(:,k); for i = 1:numel(algorithms) tic f0temp = pitch(x,fs, ... 'Range',[50 300], ... 'Method',algorithms{i}, ... 'MedianFilterLength',3); algorithmTimer(k,i) = toc; f0(1:max(numel(f0temp),numel(truePitch)),i,k) = f0temp; end end
Сравнение полной ошибки тангажа
Грубая ошибка тангажа (GPE) является популярной метрикой при сравнении алгоритмов обнаружения тангажа. GPE определяется как доля решений тангажа, для которых относительная погрешность выше заданного порога, традиционно 20% в речевых исследованиях. Вычислите GPE и распечатайте его в Командном окне.
idxToCompare = ~isnan(truePitch); truePitch = truePitch(idxToCompare); f0 = f0(idxToCompare,:,:); p = 0.20; GPE = mean( abs(f0(1:numel(truePitch),:,:) - truePitch) > truePitch.*p).*100; for ik = 1:numel(noiseConditions) fprintf('\nGPE (p = %0.2f), Noise = %s.\n',p,noiseConditions{ik}); for i = 1:size(GPE,2) fprintf('- %s : %0.1f %%\n',algorithms{i},GPE(1,i,ik)) end end
GPE (p = 0.20), Noise = Turbine (20 dB).
- NCF : 0.9 % - PEF : 0.4 % - CEP : 8.2 % - LHS : 8.2 % - SRH : 6.0 %
GPE (p = 0.20), Noise = Turbine (0 dB).
- NCF : 5.6 % - PEF : 24.5 % - CEP : 11.6 % - LHS : 9.4 % - SRH : 46.8 %
GPE (p = 0.20), Noise = WhiteNoise (20 dB).
- NCF : 0.9 % - PEF : 0.0 % - CEP : 12.9 % - LHS : 6.9 % - SRH : 2.6 %
GPE (p = 0.20), Noise = WhiteNoise (0 dB).
- NCF : 0.4 % - PEF : 0.0 % - CEP : 23.6 % - LHS : 7.3 % - SRH : 1.7 %
Вычислите среднее время обработки одной секунды данных для каждого из алгоритмов и распечатайте результаты.
aT = sum(algorithmTimer)./((numSamples/fs)*numel(noiseConditions)); for ik = 1:numel(algorithms) fprintf('- %s : %0.3f (s)\n',algorithms{ik},aT(ik)) end
- NCF : 0.021 (s) - PEF : 0.080 (s) - CEP : 0.018 (s) - LHS : 0.028 (s) - SRH : 0.067 (s)
pitch функция сегментирует аудио вход в соответствии с WindowLength и OverlapLength аргументы. Основная частота оценивается для каждой системы координат. Местоположения выхода, loc содержит самые последние выборки (самые большие номера выборок) соответствующей системы координат.
Для описания алгоритмов, используемых для оценки основной частоты, обратитесь к соответствующим ссылкам:
[1] Атал, Б.С. Автоматическое распознавание динамика на основе контуров тангажа. Журнал Акустического общества Америки. Том 52, № 6B, 1972, стр. 1687-1697.
[2] Гонсалес, Сира и Майк Брукс. «Фильтр для оценки Тангажа, устойчивый к высоким уровням шума (PEFAC)». 19-я Европейская конференция по обработке сигналов. Барселона, 2011, с. 451-455.
[3] Noll, Michael A. «Cepstrum Pitch Determination». Журнал Акустического общества Америки. Том 31, № 2, 1967, с. 293-309.
[4] Hermes, Dik J. «Measurement of Pitch by Subharmonic Summation». Журнал Акустического общества Америки. Том 83, № 1, 1988, стр. 257-264.
[5] Драгман, Томас и Абир Алван. Joint Robust Voicing Detection and Pitch Estimation Based On Leastual Harmonics (неопр.) (недоступная ссылка). Материалы ежегодной конференции Международной ассоциации речевых коммуникаций INTERSPEECH. 2011, стр 1973–1976.
audioFeatureExtractor | detectSpeech | harmonicRatio | mfcc | shiftPitch