Загрузите и разархивируйте поддержку Audio Toolbox™ YAMNet.

Если поддержка Audio Toolbox YAMNet не установлена, то первый вызов функции обеспечивает ссылку на местоположение загрузки. Чтобы загрузить модель, щелкните по ссылке. Разархивируйте файл к местоположению на пути MATLAB.

В качестве альтернативы выполните следующие команды, чтобы загрузить и разархивировать модель YAMNet к вашей временной директории.

downloadFolder = fullfile(tempdir,'YAMNetDownload');
loc = websave(downloadFolder,'https://ssd.mathworks.com/supportfiles/audio/yamnet.zip');
YAMNetLocation = tempdir;
unzip(loc,YAMNetLocation)
addpath(fullfile(YAMNetLocation,'yamnet'))

Сгенерируйте 1 секунду розового шума, принимающего частоту дискретизации на 16 кГц.

fs = 16e3;
x = pinknoise(fs);

Вызовите classifySound с розовым шумовым сигналом и частотой дискретизации.

identifiedSound = classifySound(x,fs)

identifiedSound = 
"Pink noise"

Читайте в звуковом сигнале. Вызовите classifySound возвратить обнаруженные звуки и соответствующие метки времени.

[audioIn,fs] = audioread('multipleSounds-16-16-mono-18secs.wav');
[sounds,timeStamps] = classifySound(audioIn,fs);

Постройте звуковой сигнал и пометьте обнаруженные звуковые области.

t = (0:numel(audioIn)-1)/fs;
plot(t,audioIn)
xlabel('Time (s)')
axis([t(1),t(end),-1,1])

textHeight = 1.1;
for idx = 1:numel(sounds)
    patch([timeStamps(idx,1),timeStamps(idx,1),timeStamps(idx,2),timeStamps(idx,2)], ...
        [-1,1,1,-1], ...
        [0.3010 0.7450 0.9330], ...
        'FaceAlpha',0.2);
    text(timeStamps(idx,1),textHeight+0.05*(-1)^idx,sounds(idx))
end

Выберите область и послушайте только выбранную область.

sampleStamps = floor(timeStamps*fs)+1;
soundEvent = 3;

isolatedSoundEvent = audioIn (sampleStamps (soundEvent, 1): sampleStamps (soundEvent, 2));
звук (isolatedSoundEvent, фс);
отображение'Detected Sound = ' + звуки (soundEvent))

    "Detected Sound = Snoring"

Читайте в звуковом сигнале, содержащем несколько различных звуковых событий.

[audioIn,fs] = audioread('multipleSounds-16-16-mono-18secs.wav');

Вызовите classifySound со звуковым сигналом и частотой дискретизации.

[sounds,~,soundTable] = classifySound(audioIn,fs);

sounds массив строк содержит наиболее вероятное звуковое событие в каждой области.

sounds

sounds = 1×5 string
    "Stream"    "Machine gun"    "Snoring"    "Bark"    "Meow"

soundTable содержит подробную информацию относительно звуков, обнаруженных в каждой области, включая средние значения счета и максимумы по анализируемому сигналу.

soundTable

soundTable=5×2 table
       TimeStamps         Results  
    ________________    ___________

         0      3.92    {4×3 table}
    4.0425    6.0025    {3×3 table}
      6.86    9.1875    {2×3 table}
    10.658    12.373    {4×3 table}
    12.985     16.66    {4×3 table}

Просмотрите последнюю обнаруженную область.

soundTable.Results{end}

ans=4×3 table
             Sounds             AverageScores    MaxScores
    ________________________    _____________    _________

    "Animal"                       0.79514        0.99941 
    "Domestic animals, pets"       0.80243        0.99831 
    "Cat"                           0.8048        0.99046 
    "Meow"                          0.6342        0.90177 

Вызовите classifySound снова. На этот раз установите IncludedSounds к Animal так, чтобы функция сохранила только области в который Animal звуковой класс обнаруживается.

[sounds,timeStamps,soundTable] = classifySound(audioIn,fs, ...
    'IncludedSounds','Animal');

Массив звуков только возвращает звуки, заданные как включенные звуки. sounds массив теперь содержит два экземпляра Animal это соответствует областям, объявленным как Bark и Meow ранее.

sounds

sounds = 1×2 string
    "Animal"    "Animal"

Звуковая таблица только включает области, где заданные звуковые классы были обнаружены.

soundTable

soundTable=2×2 table
       TimeStamps         Results  
    ________________    ___________

    10.658    12.373    {4×3 table}
    12.985     16.66    {4×3 table}

Просмотрите последнюю обнаруженную область в soundTable. Таблица результатов все еще включает статистику для всех обнаруженных звуков в области.

soundTable.Results{end}

ans=4×3 table
             Sounds             AverageScores    MaxScores
    ________________________    _____________    _________

    "Animal"                       0.79514        0.99941 
    "Domestic animals, pets"       0.80243        0.99831 
    "Cat"                           0.8048        0.99046 
    "Meow"                          0.6342        0.90177 

Исследовать, какие звуковые классы поддерживаются classifySound, используйте yamnetGraph.

Читайте в звуковом сигнале и вызовите classifySound смотреть наиболее вероятные звуки, расположенные в хронологическом порядке обнаружения.

[audioIn,fs] = audioread("multipleSounds-16-16-mono-18secs.wav");
sounds = classifySound(audioIn,fs)

sounds = 1×5 string
    "Stream"    "Machine gun"    "Snoring"    "Bark"    "Meow"

Вызовите classifySound снова и набор ExcludedSounds к Meow исключить звуковой Meow от результатов. Сегмент, ранее классифицированный как Meow теперь классифицируется как Cat, который является его мгновенным предшественником в онтологии AudioSet.

sounds = classifySound(audioIn,fs,"ExcludedSounds","Meow")

sounds = 1×5 string
    "Stream"    "Machine gun"    "Snoring"    "Bark"    "Cat"

Вызовите classifySound снова, и набор ExcludedSounds к Cat. Когда вы исключаете звук, все преемники также исключены. Это означает это, исключая звуковой Cat также исключает звуковой Meow. Сегмент, первоначально классифицированный как Meow теперь классифицируется как Domestic animals, pets, который является мгновенным предшественником к Cat в онтологии AudioSet.

sounds = classifySound(audioIn,fs,"ExcludedSounds","Cat")

sounds = 1×5 string
    "Stream"    "Machine gun"    "Snoring"    "Bark"    "Domestic animals, pets"

Вызовите classifySound снова и набор ExcludedSounds к Domestic animals, pets. Звуковой класс, Domestic animals, pets предшественник к обоим Bark и Meow, таким образом исключением его, звуки, ранее идентифицированные как Bark и Meow теперь оба идентифицированы как предшественник Domestic animals, pets, который является Animal.

sounds = classifySound(audioIn,fs,"ExcludedSounds","Domestic animals, pets")

sounds = 1×5 string
    "Stream"    "Machine gun"    "Snoring"    "Animal"    "Animal"

Вызовите classifySound снова и набор ExcludedSounds к Animal. Звуковой класс Animal не имеет никаких предшественников.

sounds = classifySound(audioIn,fs,"ExcludedSounds","Animal")

sounds = 1×3 string
    "Stream"    "Machine gun"    "Snoring"

Если вы не хотите обнаруживать Meow и его предшественники, но продолжают обнаруживать преемников при тех же предшественниках, используют IncludedSounds опция. Вызовите yamnetGraph получить список всех поддерживаемых классов. Удалите Meow и его предшественники от массива всех классов, и затем вызывают classifySound снова.

[~,classes] = yamnetGraph;
classesToInclude = setxor(classes,["Meow","Cat","Domestic animals, pets","Animal"]);
sounds = classifySound(audioIn,fs,"IncludedSounds",classesToInclude)

sounds = 1×4 string
    "Stream"    "Machine gun"    "Snoring"    "Bark"

Читайте в звуковом сигнале и слушайте его.

[audioIn,fs] = audioread('multipleSounds-16-16-mono-18secs.wav');
sound(audioIn,fs)

Вызовите classifySound без выходных аргументов, чтобы сгенерировать облако слова обнаруженных звуков.

classifySound(audioIn,fs);

Измените параметры по умолчанию classifySound исследовать эффект на облаке слова.

threshold = 0.1;
minimumSoundSeparation = 0.92;
minimumSoundDuration = 1.02;

classifySound (audioIn, фс, ...
    'Threshold''Порог' , ...
    'MinimumSoundSeparation', minimumSoundSeparation, ...
    'MinimumSoundDuration', minimumSoundDuration);