Загрузите и разархивируйте модель Audio Toolbox™ для CREPE.

Тип crepe в Командном окне. Если модель Audio Toolbox для CREPE не установлена, то функция предоставляет ссылку на расположение весов сети. Чтобы загрузить модель, щелкните ссылку и разархивируйте файл в расположение на пути MATLAB.

Также выполните эти команды, чтобы загрузить и разархивировать модель CREPE во временную директорию.

downloadFolder = fullfile(tempdir,'crepeDownload');
loc = websave(downloadFolder,'https://ssd.mathworks.com/supportfiles/audio/crepe.zip');
crepeLocation = tempdir;
unzip(loc,crepeLocation)
addpath(fullfile(crepeLocation,'crepe'))

Проверьте успешность установки путем ввода crepe в Командном окне. Если сеть установлена, то функция возвращает DAGNetwork (Deep Learning Toolbox) объект.

crepe

ans = 
  DAGNetwork with properties:

         Layers: [34×1 nnet.cnn.layer.Layer]
    Connections: [33×2 table]
     InputNames: {'input'}
    OutputNames: {'pitch'}

Сеть CREPE требует, чтобы вы предварительно обработали аудиосигналы, чтобы сгенерировать буферизованные, перекрывающиеся и нормализованные аудиосигналы систем координат которые могут использоваться как вход для сети. Этот пример демонстрирует pitchnn функция, выполняющая все эти шаги для вас.

Считайте в аудиосигнале для оценки тангажа. Визуализация и прослушивание аудио. В аудиоклипе девять вокальных высказываний.

[audioIn,fs] = audioread('SingingAMajor-16-mono-18secs.ogg');
soundsc(audioIn,fs)
T = 1/fs;
t = 0:T:(length(audioIn)*T) - T;
plot(t,audioIn);
grid on
axis tight
xlabel('Time (s)')
ylabel('Ampltiude')
title('Singing in A Major')

Используйте pitchnn функция для получения оценки тангажа с помощью сети CREPE с ModelCapacity установлено на tiny и ConfidenceThreshold отключен. Вызывающие pitchnn без выходных аргументов строит график оценки тангажа с течением времени. Если вы звоните pitchnn перед загрузкой модели в Командное окно выводится ошибка со ссылкой загрузки.

pitchnn(audioIn,fs,'ModelCapacity','tiny','ConfidenceThreshold',0)

При отключенном доверием пороге pitchnn обеспечивает оценку тангажа для каждой системы координат. Увеличьте ConfidenceThreshold на 0.8.

pitchnn(audioIn,fs,'ModelCapacity','tiny','ConfidenceThreshold',0.8)

Функции pitchnn с ModelCapacity установлено на full. Существует девять групп оценки основного тангажа, каждая группа соответствует одному из девяти голосовых высказываний.

pitchnn(audioIn,fs,'ModelCapacity','full','ConfidenceThreshold',0.8)

Функции spectrogram и сравните содержимое частоты сигнала с оценками тангажа из pitchnn. Используйте формат кадра 250 выборки и перекрытие 225 выборки или 90%. Использование 4096 Точки ДПФ для преобразования.

spectrogram(audioIn,250,225,4096,fs,'yaxis')