pitch
Оцените основную частоту аудиосигнала
Описание
f0 = pitch(audioIn,fs,Name,Value)Name,Value аргументы в виде пар.
Примеры
Оценка тангажа
Считывайте аудиосигнал. Функции pitch для оценки основной частоты с течением времени.
[audioIn,fs] = audioread('Hey.ogg');
f0 = pitch(audioIn,fs);Прослушайте аудиосигнал и постройте график сигнала и тангажа. The pitch функция возвращает оценку основной частоты с течением времени, но оценка действительна только для областей, которые являются гармоническими.
sound(audioIn,fs) tiledlayout(2,1) nexttile plot(audioIn) xlabel('Sample Number') ylabel('Amplitude') nexttile plot(f0) xlabel('Frame Number') ylabel('Pitch (Hz)')
Оценка тангажа для поющего голоса
Считайте аудиосигнал и извлеките тангаж.
[x,fs] = audioread('singing-a-major.ogg'); t = (0:size(x,1)-1)/fs; winLength = round(0.05*fs); overlapLength = round(0.045*fs); [f0,idx] = pitch(x,fs,'Method','SRH','WindowLength',winLength,'OverlapLength',overlapLength); tf0 = idx/fs;
Прослушайте аудио и постройте графики оценок аудио и тангажа.
sound(x,fs) figure tiledlayout(2,1) nexttile plot(t,x) ylabel('Amplitude') title('Audio Signal') axis tight nexttile plot(tf0,f0) xlabel('Time (s)') ylabel('Pitch (Hz)') title('Pitch Estimations') axis tight
The pitch функция оценивает тангаж для перекрывающихся окон анализа. Оценки тангажа действительны, только если окно анализа имеет гармонический компонент. Вызовите harmonicRatio функция, использующая то же окно и длину перекрытия, используемую для обнаружения тангажа. Постройте график отношения звука, тангажа и гармоник.
hr = harmonicRatio(x,fs,"Window",hamming(winLength,'periodic'),"OverlapLength",overlapLength); figure tiledlayout(3,1) nexttile plot(t,x) ylabel('Amplitude') title('Audio Signal') axis tight nexttile plot(tf0,f0) ylabel('Pitch (Hz)') title('Pitch Estimations') axis tight nexttile plot(tf0,hr) xlabel('Time (s)') ylabel('Ratio') title('Harmonic Ratio') axis tight
Используйте коэффициент гармоники в качестве порога для допустимых решений тангажа. Если коэффициент гармоники меньше порога, задайте значение тангажа NaN. Постройте график результатов.
threshold = 0.9; f0(hr < threshold) = nan; figure plot(tf0,f0) xlabel('Time (s)') ylabel('Pitch (Hz)') title('Pitch Estimations') grid on
Сравнение тангажа двух голосов
Считывайте аудиосигнал женского голоса, произнося «громкость» пять раз. Слушайте аудио.
[femaleVoice,fs] = audioread('female-volume-up.ogg');
sound(femaleVoice,fs)Считывайте аудиосигнал мужского голоса, произнося «громкость» пять раз. Слушайте аудио.
maleVoice = audioread('male-volume-up.ogg');
sound(maleVoice,fs)Извлеките тангаж из женской и мужской записей. Постройте гистограммы оценок тангажа для мужской и женской аудиозаписей. Гистограммы имеют сходную форму. Это связано с тем, что решения о тангаже содержат результаты для негласной речи и областей молчания.
f0Female = pitch(femaleVoice,fs); f0Male = pitch(maleVoice,fs); figure numBins = 20; histogram(f0Female,numBins,"Normalization","probability"); hold on histogram(f0Male,numBins,"Normalization","probability"); legend('Female Voice','Male Voice') xlabel('Pitch (Hz)') ylabel('Probability') hold off
Используйте detectSpeech функция для изоляции областей речи в аудиосигнале и последующего извлечения тангажа только из этих речевых областей.
speechIndices = detectSpeech(femaleVoice,fs); f0Female = []; for ii = 1:size(speechIndices,1) speechSegment = femaleVoice(speechIndices(ii,1):speechIndices(ii,2)); f0Female = [f0Female;pitch(speechSegment,fs)]; end speechIndices = detectSpeech(maleVoice,fs); f0Male = []; for ii = 1:size(speechIndices,1) speechSegment = maleVoice(speechIndices(ii,1):speechIndices(ii,2)); f0Male = [f0Male;pitch(speechSegment,fs)]; end
Постройте гистограммы оценок тангажа для мужской и женской аудиозаписей. Теперь распределения тангажа появляются должным образом.
figure histogram(f0Female,numBins,"Normalization","probability"); hold on histogram(f0Male,numBins,"Normalization","probability"); legend('Female Voice','Male Voice') xlabel('Pitch (Hz)') ylabel('Probability')
Оценка тангажа музыкального сигнала с использованием параметров Nondefault
Загрузите аудио файла введения Für Elise и частоты дискретизации аудио.
load FurElise.mat song fs sound(song,fs)
Вызовите pitch функция, использующая фильтр оценки тангажа (PEF), область значений поиска от 50 до 800 Гц, длительность окна 80 мс, длительность перекрытия 70 мс и средняя длина фильтра 10. Постройте график результатов.
method ="PEF"; область значений = [
50,
800]; % hertz winDur =
0.08; % seconds overlapDur =
0.07; % seconds medFiltLength =
10; % frames winLength = round (winDur * fs); olovapLength = round (olovapDur * fs); [f0, loc] = тангаж (песня, fs,... 'Method', метод ,... 'Range', область значений ,... 'WindowLength', winLength ,... 'OverlapLength', overlapLength ,... "MedianFilterLength", medFiltLength); t = loc/fs; график (t, f0) ylabel ('Pitch (Hz)') xlabel ('Time (s)') сетка on
Определите контур тангажа передачи потокового аудио
Создайте dsp.AudioFileReader объект для чтения в аудиокадре за кадром.
fileReader = dsp.AudioFileReader('singing-a-major.ogg');Создайте voiceActivityDetector объект для обнаружения присутствия голоса в передаче потокового аудио.
VAD = voiceActivityDetector;
Пока существуют непрочитанные выборки, считайте из файла и определите вероятность того, что система координат содержит голосовую активность. Если система координат содержит голосовую активность, вызовите pitch для оценки основной частоты аудио системы координат. Если система координат не содержит голосовой активности, объявите основную частоту следующим NaN.
f0 = []; while ~isDone(fileReader) x = fileReader(); if VAD(x) > 0.99 decision = pitch(x,fileReader.SampleRate, ... "WindowLength",size(x,1), ... "OverlapLength",0, ... "Range",[200,340]); else decision = NaN; end f0 = [f0;decision]; end
Постройте график обнаруженного контура тангажа с течением времени.
t = linspace(0,(length(f0)*fileReader.SamplesPerFrame)/fileReader.SampleRate,length(f0)); plot(t,f0) ylabel('Fundamental Frequency (Hz)') xlabel('Time (s)') grid on
Сравнение алгоритмов обнаружения тангажа
Различные методы оценки тангажа обеспечивают компромиссы с точки зрения робастности, точности, оптимальной задержки и вычислительных расходов. В этом примере вы сравниваете эффективность различных алгоритмов обнаружения тангажа с точки зрения полной ошибки тангажа (GPE) и времени расчета при различных шумовых условиях.
Подготовка тестовых сигналов
Загрузите аудио файла и определите количество выборок, которые у него есть. Также загружает истинный тангаж, соответствующий звуковой файл. Истинный тангаж был определен как среднее значение нескольких сторонних алгоритмов в чистом речевом файле.
[audioIn,fs] = audioread('Counting-16-44p1-mono-15secs.wav'); numSamples = size(audioIn,1); load TruePitch.mat truePitch
Создайте тестовые сигналы путем добавления шума к аудиосигналу при заданных ОСШ. The mixSNR функция является функцией удобства, локальной к этому примеру, которая принимает сигнал, шум и запрашивает ОСШ и возвращает сигнал с шумом по запросу ОСШ.
testSignals = zeros(numSamples,4); turbine = audioread('Turbine-16-44p1-mono-22secs.wav'); testSignals(:,1) = mixSNR(audioIn,turbine,20); testSignals(:,2) = mixSNR(audioIn,turbine,0); whiteNoiseMaker = dsp.ColoredNoise('Color','white','SamplesPerFrame',size(audioIn,1)); testSignals(:,3) = mixSNR(audioIn,whiteNoiseMaker(),20); testSignals(:,4) = mixSNR(audioIn,whiteNoiseMaker(),0);
Сохраните шумовые условия и имена алгоритмов как массивы ячеек для маркировки и индексации.
noiseConditions = {'Turbine (20 dB)','Turbine (0 dB)','WhiteNoise (20 dB)','WhiteNoise (0 dB)'};
algorithms = {'NCF','PEF','CEP','LHS','SRH'};Запуск алгоритмов обнаружения тангажа
Предварительно выделите массивы, чтобы сохранить решения тангажа для каждого алгоритма и пары условий шума и время выполнения. В цикле вызовите pitch функция на каждой комбинации алгоритма и условия. Каждый алгоритм имеет оптимальную длину окна, связанную с ним. В этом примере для простоты вы используете длину окна по умолчанию для всех алгоритмов. Используйте 3-элементный медианный фильтр для сглаживания решений тангажа.
f0 = zeros(numel(truePitch),numel(algorithms),numel(noiseConditions)); algorithmTimer = zeros(numel(noiseConditions),numel(algorithms)); for k = 1:numel(noiseConditions) x = testSignals(:,k); for i = 1:numel(algorithms) tic f0temp = pitch(x,fs, ... 'Range',[50 300], ... 'Method',algorithms{i}, ... 'MedianFilterLength',3); algorithmTimer(k,i) = toc; f0(1:max(numel(f0temp),numel(truePitch)),i,k) = f0temp; end end
Сравнение полной ошибки тангажа
Грубая ошибка тангажа (GPE) является популярной метрикой при сравнении алгоритмов обнаружения тангажа. GPE определяется как доля решений тангажа, для которых относительная погрешность выше заданного порога, традиционно 20% в речевых исследованиях. Вычислите GPE и распечатайте его в Командном окне.
idxToCompare = ~isnan(truePitch); truePitch = truePitch(idxToCompare); f0 = f0(idxToCompare,:,:); p = 0.20; GPE = mean( abs(f0(1:numel(truePitch),:,:) - truePitch) > truePitch.*p).*100; for ik = 1:numel(noiseConditions) fprintf('\nGPE (p = %0.2f), Noise = %s.\n',p,noiseConditions{ik}); for i = 1:size(GPE,2) fprintf('- %s : %0.1f %%\n',algorithms{i},GPE(1,i,ik)) end end
GPE (p = 0.20), Noise = Turbine (20 dB).
- NCF : 0.9 % - PEF : 0.4 % - CEP : 8.2 % - LHS : 8.2 % - SRH : 6.0 %
GPE (p = 0.20), Noise = Turbine (0 dB).
- NCF : 5.6 % - PEF : 24.5 % - CEP : 11.6 % - LHS : 9.4 % - SRH : 46.8 %
GPE (p = 0.20), Noise = WhiteNoise (20 dB).
- NCF : 0.9 % - PEF : 0.0 % - CEP : 12.9 % - LHS : 6.9 % - SRH : 2.6 %
GPE (p = 0.20), Noise = WhiteNoise (0 dB).
- NCF : 0.4 % - PEF : 0.0 % - CEP : 23.6 % - LHS : 7.3 % - SRH : 1.7 %
Вычислите среднее время обработки одной секунды данных для каждого из алгоритмов и распечатайте результаты.
aT = sum(algorithmTimer)./((numSamples/fs)*numel(noiseConditions)); for ik = 1:numel(algorithms) fprintf('- %s : %0.3f (s)\n',algorithms{ik},aT(ik)) end
- NCF : 0.021 (s) - PEF : 0.080 (s) - CEP : 0.018 (s) - LHS : 0.028 (s) - SRH : 0.067 (s)
Входные параметры
Выходные аргументы
Алгоритмы
pitch функция сегментирует аудио вход в соответствии с WindowLength и OverlapLength аргументы. Основная частота оценивается для каждой системы координат. Местоположения выхода, loc содержит самые последние выборки (самые большие номера выборок) соответствующей системы координат.
Для описания алгоритмов, используемых для оценки основной частоты, обратитесь к соответствующим ссылкам:
Ссылки
[1] Атал, Б.С. Автоматическое распознавание динамика на основе контуров тангажа. Журнал Акустического общества Америки. Том 52, № 6B, 1972, стр. 1687-1697.
[2] Гонсалес, Сира и Майк Брукс. «Фильтр для оценки Тангажа, устойчивый к высоким уровням шума (PEFAC)». 19-я Европейская конференция по обработке сигналов. Барселона, 2011, с. 451-455.
[3] Noll, Michael A. «Cepstrum Pitch Determination». Журнал Акустического общества Америки. Том 31, № 2, 1967, с. 293-309.
[4] Hermes, Dik J. «Measurement of Pitch by Subharmonic Summation». Журнал Акустического общества Америки. Том 83, № 1, 1988, стр. 257-264.
[5] Драгман, Томас и Абир Алван. Joint Robust Voicing Detection and Pitch Estimation Based On Leastual Harmonics (неопр.) (недоступная ссылка). Материалы ежегодной конференции Международной ассоциации речевых коммуникаций INTERSPEECH. 2011, стр 1973–1976.
Расширенные возможности
См. также
audioFeatureExtractor | detectSpeech | harmonicRatio | mfcc | shiftPitch