Оцените основную частоту звукового сигнала
f0 = pitch(audioIn,fs,Name,Value)Name,Value парные аргументы.
Читайте в звуковом сигнале. Вызовите pitch оценивать основную частоту в зависимости от времени.
[audioIn,fs] = audioread('Hey.ogg');
f0 = pitch(audioIn,fs);Слушайте звуковой сигнал и постройте сигнал и подачу. pitch функция возвращает оценку основной частоты в зависимости от времени, но оценка только допустима для областей, которые являются гармоническими.
sound(audioIn,fs) tiledlayout(2,1) nexttile plot(audioIn) xlabel('Sample Number') ylabel('Amplitude') nexttile plot(f0) xlabel('Frame Number') ylabel('Pitch (Hz)')
Читайте в звуковом сигнале и извлеките подачу.
[x,fs] = audioread('singing-a-major.ogg'); t = (0:size(x,1)-1)/fs; winLength = round(0.05*fs); overlapLength = round(0.045*fs); [f0,idx] = pitch(x,fs,'Method','SRH','WindowLength',winLength,'OverlapLength',overlapLength); tf0 = idx/fs;
Слушайте аудио и постройте оценки подачи и аудио.
sound(x,fs) figure tiledlayout(2,1) nexttile plot(t,x) ylabel('Amplitude') title('Audio Signal') axis tight nexttile plot(tf0,f0) xlabel('Time (s)') ylabel('Pitch (Hz)') title('Pitch Estimations') axis tight
pitch функционируйте оценивает подачу для перекрытых аналитических окон. Оценки подачи только допустимы, если аналитическое окно имеет гармонический компонент. Вызовите harmonicRatio функция с помощью того же окна и длины перекрытия используется для обнаружения подачи. Постройте аудио, подачу и гармоническое отношение.
hr = harmonicRatio(x,fs,"Window",hamming(winLength,'periodic'),"OverlapLength",overlapLength); figure tiledlayout(3,1) nexttile plot(t,x) ylabel('Amplitude') title('Audio Signal') axis tight nexttile plot(tf0,f0) ylabel('Pitch (Hz)') title('Pitch Estimations') axis tight nexttile plot(tf0,hr) xlabel('Time (s)') ylabel('Ratio') title('Harmonic Ratio') axis tight
Используйте гармоническое отношение в качестве порога для допустимых решений подачи. Если гармоническое отношение меньше порога, установите решение подачи на NaNПостройте график результатов.
threshold = 0.9; f0(hr < threshold) = nan; figure plot(tf0,f0) xlabel('Time (s)') ylabel('Pitch (Hz)') title('Pitch Estimations') grid on
Читайте в звуковом сигнале женского голоса, говоря "объем" пять раз. Слушайте аудио.
[femaleVoice,fs] = audioread('female-volume-up.ogg');
sound(femaleVoice,fs)Читайте в звуковом сигнале мужского голоса, говоря "объем" пять раз. Слушайте аудио.
maleVoice = audioread('male-volume-up.ogg');
sound(maleVoice,fs)Извлеките подачу и из розеточных и из штекерных записей. Постройте гистограммы оценок подачи для штекерных и розеточных аудиозаписей. Гистограммы имеют подобную форму. Это вызвано тем, что решения подачи содержат результаты для неречевой речи и областей тишины.
f0Female = pitch(femaleVoice,fs); f0Male = pitch(maleVoice,fs); figure numBins = 20; histogram(f0Female,numBins,"Normalization","probability"); hold on histogram(f0Male,numBins,"Normalization","probability"); legend('Female Voice','Male Voice') xlabel('Pitch (Hz)') ylabel('Probability') hold off
Используйте detectSpeech функционируйте, чтобы изолировать области речи в звуковом сигнале и затем извлечь подачу только из тех речевых областей.
speechIndices = detectSpeech(femaleVoice,fs); f0Female = []; for ii = 1:size(speechIndices,1) speechSegment = femaleVoice(speechIndices(ii,1):speechIndices(ii,2)); f0Female = [f0Female;pitch(speechSegment,fs)]; end speechIndices = detectSpeech(maleVoice,fs); f0Male = []; for ii = 1:size(speechIndices,1) speechSegment = maleVoice(speechIndices(ii,1):speechIndices(ii,2)); f0Male = [f0Male;pitch(speechSegment,fs)]; end
Постройте гистограммы оценок подачи для штекерных и розеточных аудиозаписей. Распределения подачи теперь появляются как ожидалось.
figure histogram(f0Female,numBins,"Normalization","probability"); hold on histogram(f0Male,numBins,"Normalization","probability"); legend('Female Voice','Male Voice') xlabel('Pitch (Hz)') ylabel('Probability')
Загрузите звуковой файл введения Фюр Элис и частоту дискретизации аудио.
load FurElise.mat song fs sound(song,fs)
Вызовите pitch функция с помощью подачи оценивает фильтр (PEF), поисковая область значений 50 - 800 Гц, длительность окна 80 мс, длительность перекрытия 70 мс и средняя длина фильтра 10. Постройте график результатов.
method ="PEF"; расположитесь = [
50,
800]; % hertz winDur =
0.08; % seconds overlapDur =
0.07; % seconds medFiltLength =
10; % frames winLength = вокруг (winDur*fs); overlapLength = вокруг (overlapDur*fs); [f0, местоположение] = подача (песня, фс, ... 'Method', метод, ... 'Range'Область значений, ... 'WindowLength', winLength, ... 'OverlapLength', overlapLength, ... "MedianFilterLength", medFiltLength); t = местоположение/фс; график (t, f0) yLabel 'Pitch (Hz)') xlabel'Time (s)') сетка on
Создайте dsp.AudioFileReader возразите, чтобы читать в покадровом аудио.
fileReader = dsp.AudioFileReader('singing-a-major.ogg');Создайте voiceActivityDetector объект обнаружить присутствие речи в передаче потокового аудио.
VAD = voiceActivityDetector;
В то время как существуют непрочитанные выборки, читайте из файла и определите вероятность, что система координат содержит речевое действие. Если система координат содержит речевое действие, вызовите pitch оценить основную частоту аудио системы координат. Если система координат не содержит речевое действие, объявите основную частоту как NaN.
f0 = []; while ~isDone(fileReader) x = fileReader(); if VAD(x) > 0.99 decision = pitch(x,fileReader.SampleRate, ... "WindowLength",size(x,1), ... "OverlapLength",0, ... "Range",[200,340]); else decision = NaN; end f0 = [f0;decision]; end
Стройте обнаруженный контур подачи в зависимости от времени.
t = linspace(0,(length(f0)*fileReader.SamplesPerFrame)/fileReader.SampleRate,length(f0)); plot(t,f0) ylabel('Fundamental Frequency (Hz)') xlabel('Time (s)') grid on
Различные методы оценки подачи обеспечивают компромиссы в терминах шумовой робастности, точности, оптимальной задержки и расхода расчета. В этом примере вы сравниваете эффективность различных алгоритмов обнаружения подачи в терминах грубой ошибки подачи (GPE) и время вычисления при различных шумовых условиях.
Подготовьте тестовые сигналы
Загрузите звуковой файл и определите количество выборок, которые оно имеет. Также загрузите истинную подачу, соответствующую звуковому файлу. Истинная подача была определена как в среднем несколько сторонних алгоритмов на чистом речевом файле.
[audioIn,fs] = audioread('Counting-16-44p1-mono-15secs.wav'); numSamples = size(audioIn,1); load TruePitch.mat truePitch
Создайте тестовые сигналы путем добавления шума в звуковой сигнал в данном SNRs. mixSNR функция является функцией удобства, локальной для этого примера, который берет сигнал, шум и требуемый ОСШ и возвращает сигнал с шумом в ОСШ запроса.
testSignals = zeros(numSamples,4); turbine = audioread('Turbine-16-44p1-mono-22secs.wav'); testSignals(:,1) = mixSNR(audioIn,turbine,20); testSignals(:,2) = mixSNR(audioIn,turbine,0); whiteNoiseMaker = dsp.ColoredNoise('Color','white','SamplesPerFrame',size(audioIn,1)); testSignals(:,3) = mixSNR(audioIn,whiteNoiseMaker(),20); testSignals(:,4) = mixSNR(audioIn,whiteNoiseMaker(),0);
Сохраните шумовые условия и имена алгоритма как массивы ячеек для маркировки и индексации.
noiseConditions = {'Turbine (20 dB)','Turbine (0 dB)','WhiteNoise (20 dB)','WhiteNoise (0 dB)'};
algorithms = {'NCF','PEF','CEP','LHS','SRH'};Запустите алгоритмы обнаружения подачи
Предварительно выделите массивы, чтобы содержать решения подачи для каждого алгоритма и шумовой пары условия и времени выполнения. В цикле вызовите pitch функция на каждой комбинации алгоритма и шумового условия. Каждый алгоритм имеет оптимальную длину окна, сопоставленную с ним. В этом примере, для простоты, вы используете длину окна по умолчанию для всех алгоритмов. Используйте средний фильтр с 3 элементами, чтобы сглаживать решения подачи.
f0 = zeros(numel(truePitch),numel(algorithms),numel(noiseConditions)); algorithmTimer = zeros(numel(noiseConditions),numel(algorithms)); for k = 1:numel(noiseConditions) x = testSignals(:,k); for i = 1:numel(algorithms) tic f0temp = pitch(x,fs, ... 'Range',[50 300], ... 'Method',algorithms{i}, ... 'MedianFilterLength',3); algorithmTimer(k,i) = toc; f0(1:max(numel(f0temp),numel(truePitch)),i,k) = f0temp; end end
Сравните общее количество передают ошибку
Грубая ошибка подачи (GPE) является популярной метрикой при сравнении алгоритмов обнаружения подачи. GPE задан как пропорция решений подачи, для которых относительная погрешность выше, чем заданный порог, традиционно 20% в речевых исследованиях. Вычислите GPE и распечатайте его к Командному окну.
idxToCompare = ~isnan(truePitch); truePitch = truePitch(idxToCompare); f0 = f0(idxToCompare,:,:); p = 0.20; GPE = mean( abs(f0(1:numel(truePitch),:,:) - truePitch) > truePitch.*p).*100; for ik = 1:numel(noiseConditions) fprintf('\nGPE (p = %0.2f), Noise = %s.\n',p,noiseConditions{ik}); for i = 1:size(GPE,2) fprintf('- %s : %0.1f %%\n',algorithms{i},GPE(1,i,ik)) end end
GPE (p = 0.20), Noise = Turbine (20 dB).
- NCF : 0.9 % - PEF : 0.4 % - CEP : 8.2 % - LHS : 8.2 % - SRH : 6.0 %
GPE (p = 0.20), Noise = Turbine (0 dB).
- NCF : 5.6 % - PEF : 24.5 % - CEP : 11.6 % - LHS : 9.4 % - SRH : 46.8 %
GPE (p = 0.20), Noise = WhiteNoise (20 dB).
- NCF : 0.9 % - PEF : 0.0 % - CEP : 12.9 % - LHS : 6.9 % - SRH : 2.6 %
GPE (p = 0.20), Noise = WhiteNoise (0 dB).
- NCF : 0.4 % - PEF : 0.0 % - CEP : 23.6 % - LHS : 7.3 % - SRH : 1.7 %
Вычислите среднее время, которое требуется, чтобы обработать одну секунду данных для каждого из алгоритмов и распечатать результаты.
aT = sum(algorithmTimer)./((numSamples/fs)*numel(noiseConditions)); for ik = 1:numel(algorithms) fprintf('- %s : %0.3f (s)\n',algorithms{ik},aT(ik)) end
- NCF : 0.014 (s) - PEF : 0.048 (s) - CEP : 0.015 (s) - LHS : 0.024 (s) - SRH : 0.046 (s)
pitch функциональные сегменты аудиовход согласно WindowLength и OverlapLength аргументы. Основная частота оценивается для каждой системы координат. Местоположения выход, loc содержит новые выборки (самые большие демонстрационные числа) соответствующей системы координат.
Для описания алгоритмов, используемых, чтобы оценить основную частоту, консультируйтесь с соответствующими ссылками:
'NCF' – Нормированная функция корреляции [1]
'PEF' – Передайте Фильтр Оценки [2]. Функция не использует амплитудное сжатие, описанное бумагой.
'CEP' – Определение подачи кепстра [3]
'LHS' – Гармоническое журналом суммирование [4]
'SRH' – Суммирование остаточных гармоник [5]
[1] Атал, B.S. "Автоматическое Распознавание Динамика На основе Контуров Подачи". Журнал Акустического Общества Америки. Издание 52, № 6B, 1972, стр 1687–1697.
[2] Гонсалес, Сира и Майк Брукес. "Фильтр Оценки Подачи, устойчивый к высокому уровню шума (PEFAC)". 19-я европейская Конференция по Обработке сигналов. Барселона, 2011, стр 451–455.
[3] Нолл, Майкл А. "Определение Подачи кепстра". Журнал Акустического Общества Америки. Издание 31, № 2, 1967, стр 293–309.
[4] Гермес, Дик Дж. "Измерение Подачи Субгармоническим Суммированием". Журнал Акустического Общества Америки. Издание 83, № 1, 1988, стр 257–264.
[5] Другмен, Томас и Абир Алван. "Соедините Устойчивую Оценку Обнаружения и Подачи Озвучивания На основе Остаточных Гармоник". Продолжения Ежегодной конференции Международной Речевой Коммуникационной Ассоциации, INTERSPEECH. 2011, стр 1973–1976.
audioFeatureExtractor | detectSpeech | harmonicRatio | mfcc | shiftPitch