Классифицируйте звуки на звуковой сигнал
sounds = classifySound(audioIn,fs,Name,Value)Name,Value парные аргументы.
sounds = classifySound(audioIn,fs,'SpecificityLevel','low') классифицирует звуки с помощью низкой специфики.[ также возвращает метки времени, сопоставленные с каждым обнаруженным звуком.sounds,timestamps] = classifySound(___)
[ также возвращает таблицу, содержащую детали результата.sounds,timestamps,resultsTable] = classifySound(___)
classifySound(___) без выходных аргументов создает облако слова идентифицированных звуков в звуковом сигнале.
Эта функция требует и Audio Toolbox™ и Deep Learning Toolbox™.
classifySoundЗагрузите и разархивируйте поддержку Audio Toolbox™ YAMNet.
Если поддержка Audio Toolbox YAMNet не установлена, то первый вызов функции обеспечивает ссылку на местоположение загрузки. Чтобы загрузить модель, щелкните по ссылке. Разархивируйте файл к местоположению на пути MATLAB.
В качестве альтернативы выполните следующие команды, чтобы загрузить и разархивировать модель YAMNet к вашей временной директории.
downloadFolder = fullfile(tempdir,'YAMNetDownload'); loc = websave(downloadFolder,'https://ssd.mathworks.com/supportfiles/audio/yamnet.zip'); YAMNetLocation = tempdir; unzip(loc,YAMNetLocation) addpath(fullfile(YAMNetLocation,'yamnet'))
Сгенерируйте 1 секунду розового шума, принимающего частоту дискретизации на 16 кГц.
fs = 16e3; x = pinknoise(fs);
Вызовите classifySound с розовым шумовым сигналом и частотой дискретизации.
identifiedSound = classifySound(x,fs)
identifiedSound = "Pink noise"
Читайте в звуковом сигнале. Вызовите classifySound возвратить обнаруженные звуки и соответствующие метки времени.
[audioIn,fs] = audioread('multipleSounds-16-16-mono-18secs.wav');
[sounds,timeStamps] = classifySound(audioIn,fs);Постройте звуковой сигнал и пометьте обнаруженные звуковые области.
t = (0:numel(audioIn)-1)/fs; plot(t,audioIn) xlabel('Time (s)') axis([t(1),t(end),-1,1]) textHeight = 1.1; for idx = 1:numel(sounds) patch([timeStamps(idx,1),timeStamps(idx,1),timeStamps(idx,2),timeStamps(idx,2)], ... [-1,1,1,-1], ... [0.3010 0.7450 0.9330], ... 'FaceAlpha',0.2); text(timeStamps(idx,1),textHeight+0.05*(-1)^idx,sounds(idx)) end
Выберите область и послушайте только выбранную область.
sampleStamps = floor(timeStamps*fs)+1; soundEvent =3; isolatedSoundEvent = audioIn (sampleStamps (soundEvent, 1): sampleStamps (soundEvent, 2)); звук (isolatedSoundEvent, фс); отображение'Detected Sound = ' + звуки (soundEvent))
"Detected Sound = Snoring"
Читайте в звуковом сигнале, содержащем несколько различных звуковых событий.
[audioIn,fs] = audioread('multipleSounds-16-16-mono-18secs.wav');Вызовите classifySound со звуковым сигналом и частотой дискретизации.
[sounds,~,soundTable] = classifySound(audioIn,fs);
sounds массив строк содержит наиболее вероятное звуковое событие в каждой области.
sounds
sounds = 1×5 string
"Stream" "Machine gun" "Snoring" "Bark" "Meow"
soundTable содержит подробную информацию относительно звуков, обнаруженных в каждой области, включая средние значения счета и максимумы по анализируемому сигналу.
soundTable
soundTable=5×2 table
TimeStamps Results
________________ ___________
0 3.92 {4×3 table}
4.0425 6.0025 {3×3 table}
6.86 9.1875 {2×3 table}
10.658 12.373 {4×3 table}
12.985 16.66 {4×3 table}
Просмотрите последнюю обнаруженную область.
soundTable.Results{end}ans=4×3 table
Sounds AverageScores MaxScores
________________________ _____________ _________
"Animal" 0.79514 0.99941
"Domestic animals, pets" 0.80243 0.99831
"Cat" 0.8048 0.99046
"Meow" 0.6342 0.90177
Вызовите classifySound снова. На этот раз установите IncludedSounds к Animal так, чтобы функция сохранила только области в который Animal звуковой класс обнаруживается.
[sounds,timeStamps,soundTable] = classifySound(audioIn,fs, ... 'IncludedSounds','Animal');
Массив звуков только возвращает звуки, заданные как включенные звуки. sounds массив теперь содержит два экземпляра Animal это соответствует областям, объявленным как Bark и Meow ранее.
sounds
sounds = 1×2 string
"Animal" "Animal"
Звуковая таблица только включает области, где заданные звуковые классы были обнаружены.
soundTable
soundTable=2×2 table
TimeStamps Results
________________ ___________
10.658 12.373 {4×3 table}
12.985 16.66 {4×3 table}
Просмотрите последнюю обнаруженную область в soundTable. Таблица результатов все еще включает статистику для всех обнаруженных звуков в области.
soundTable.Results{end}ans=4×3 table
Sounds AverageScores MaxScores
________________________ _____________ _________
"Animal" 0.79514 0.99941
"Domestic animals, pets" 0.80243 0.99831
"Cat" 0.8048 0.99046
"Meow" 0.6342 0.90177
Исследовать, какие звуковые классы поддерживаются classifySound, используйте yamnetGraph.
Читайте в звуковом сигнале и вызовите classifySound смотреть наиболее вероятные звуки, расположенные в хронологическом порядке обнаружения.
[audioIn,fs] = audioread("multipleSounds-16-16-mono-18secs.wav");
sounds = classifySound(audioIn,fs)sounds = 1×5 string
"Stream" "Machine gun" "Snoring" "Bark" "Meow"
Вызовите classifySound снова и набор ExcludedSounds к Meow исключить звуковой Meow от результатов. Сегмент, ранее классифицированный как Meow теперь классифицируется как Cat, который является его мгновенным предшественником в онтологии AudioSet.
sounds = classifySound(audioIn,fs,"ExcludedSounds","Meow")
sounds = 1×5 string
"Stream" "Machine gun" "Snoring" "Bark" "Cat"
Вызовите classifySound снова, и набор ExcludedSounds к Cat. Когда вы исключаете звук, все преемники также исключены. Это означает это, исключая звуковой Cat также исключает звуковой Meow. Сегмент, первоначально классифицированный как Meow теперь классифицируется как Domestic animals, pets, который является мгновенным предшественником к Cat в онтологии AudioSet.
sounds = classifySound(audioIn,fs,"ExcludedSounds","Cat")
sounds = 1×5 string
"Stream" "Machine gun" "Snoring" "Bark" "Domestic animals, pets"
Вызовите classifySound снова и набор ExcludedSounds к Domestic animals, pets. Звуковой класс, Domestic animals, pets предшественник к обоим Bark и Meow, таким образом исключением его, звуки, ранее идентифицированные как Bark и Meow теперь оба идентифицированы как предшественник Domestic animals, pets, который является Animal.
sounds = classifySound(audioIn,fs,"ExcludedSounds","Domestic animals, pets")
sounds = 1×5 string
"Stream" "Machine gun" "Snoring" "Animal" "Animal"
Вызовите classifySound снова и набор ExcludedSounds к Animal. Звуковой класс Animal не имеет никаких предшественников.
sounds = classifySound(audioIn,fs,"ExcludedSounds","Animal")
sounds = 1×3 string
"Stream" "Machine gun" "Snoring"
Если вы не хотите обнаруживать Meow и его предшественники, но продолжают обнаруживать преемников при тех же предшественниках, используют IncludedSounds опция. Вызовите yamnetGraph получить список всех поддерживаемых классов. Удалите Meow и его предшественники от массива всех классов, и затем вызывают classifySound снова.
[~,classes] = yamnetGraph; classesToInclude = setxor(classes,["Meow","Cat","Domestic animals, pets","Animal"]); sounds = classifySound(audioIn,fs,"IncludedSounds",classesToInclude)
sounds = 1×4 string
"Stream" "Machine gun" "Snoring" "Bark"
Читайте в звуковом сигнале и слушайте его.
[audioIn,fs] = audioread('multipleSounds-16-16-mono-18secs.wav');
sound(audioIn,fs)Вызовите classifySound без выходных аргументов, чтобы сгенерировать облако слова обнаруженных звуков.
classifySound(audioIn,fs);
Измените параметры по умолчанию classifySound исследовать эффект на облаке слова.
threshold =0.1; minimumSoundSeparation =
0.92; minimumSoundDuration =
1.02; classifySound (audioIn, фс, ... 'Threshold''Порог' , ... 'MinimumSoundSeparation', minimumSoundSeparation, ... 'MinimumSoundDuration', minimumSoundDuration);
classifySound функционируйте использует YAMNet, чтобы классифицировать аудио сегменты в звуковые классы, описанные онтологией AudioSet. classifySound функция предварительно обрабатывает аудио так, чтобы это было в формате, требуемом YAMNet, и постобработало предсказания YAMNET с общими задачами, которые делают результаты более поддающимися толкованию.
Передайте каждый из 521 сигнала доверия через фильтр скользящего среднего значения с длиной окна 7.
Передайте каждый из сигналов через движущийся средний фильтр с длиной окна 3.
Преобразуйте сигналы доверия в бинарные маски с помощью заданного Threshold.
Отбросьте любой звук короче, чем MinimumSoundDuration.
Объедините области, которые ближе, чем MinimumSoundSeparation.
Консолидируйте идентифицированные звуковые области, которые перекрываются на 50% или больше в одну области. Время начала области является самым маленьким временем начала всех звуков в группе. Время окончания области является самым большим временем окончания всех звуков в группе. Функция возвращает метки времени, классы звуков и среднее и максимальное доверие звуковых классов в области в resultsTable.
Можно установить уровень специфики звуковой классификации с помощью SpecificityLevel опция. Например, примите, что существует четыре звуковых класса в звуковой группе со следующими соответствующими средними баллами по звуковой области:
Water–– 0.82817
Stream–– 0.81266
Trickle, dribble–– 0.23102
Pour–– 0.20732
Звуковые классы, Waterпоток , Trickle, dribble, и Pour расположены в онтологии AudioSet, как обозначено графиком:
Функции возвращают звуковой класс для звуковой группы в sounds выходной аргумент в зависимости от SpecificityLevel:
"high" (значение по умолчанию) – В этом режиме, Stream предпочтен Water, и Trickle, dribble предпочтен Pourпоток имеет более высокий средний счет по области, таким образом, функция возвращает Stream в sounds выведите для области.
"low" – В этом режиме возвращена самая общая онтологическая категория для звукового класса с самым высоким средним доверием по области. Для Trickle, dribble и Pour, самой общей категорией является Sounds of things. Для Stream и Water, самой общей категорией является Natural sounds. Поскольку Water имеет самое высокое среднее доверие по звуковой области, функция возвращает Natural sounds.
"none" – В этом режиме функция возвращает звуковой класс с самой высокой средней оценкой достоверности, которая в этом примере является Water.
[1] Gemmeke, Джорт Ф., и др. “Аудио Набор: Онтология и Помеченный Человеком Набор данных для Аудио Событий”. 2 017 Международных конференций IEEE по вопросам Акустики, Речи и Обработки сигналов (ICASSP), IEEE, 2017, стр 776–80. DOI.org (Crossref), doi:10.1109/ICASSP.2017.7952261.
[2] Херши, Шон, и др. “Архитектуры CNN для Крупномасштабной Аудио Классификации”. 2 017 Международных конференций IEEE по вопросам Акустики, Речи и Обработки сигналов (ICASSP), IEEE, 2017, стр 131–35. DOI.org (Crossref), doi:10.1109/ICASSP.2017.7952132.