Оценка шага с помощью нейронной сети глубокого обучения
f0 = pitchnn(audioIn,fs,Name,Value)Name,Value аргументы. Например, f0 = pitchnn(audioIn,fs,'ConfidenceThreshold',0.5) устанавливает порог достоверности для каждого значения f0 кому 0.5.
[ возвращает активации f0,loc,activations] = pitchnn(___)crepe предварительно обученная сеть.
pitchnn(___) без выходных аргументов строит график расчетной основной частоты во времени.
Загрузите и распакуйте модель Audio Toolbox™ для CREPE.
Напечатать crepe в окне команд. Если модель Audio Toolbox для CREPE не установлена, функция предоставляет ссылку на расположение весов сети. Чтобы загрузить модель, щелкните ссылку и распакуйте файл в расположение по пути MATLAB.
Либо выполните эти команды для загрузки и распаковки модели CREPE во временную папку.
downloadFolder = fullfile(tempdir,'crepeDownload'); loc = websave(downloadFolder,'https://ssd.mathworks.com/supportfiles/audio/crepe.zip'); crepeLocation = tempdir; unzip(loc,crepeLocation) addpath(fullfile(crepeLocation,'crepe'))
Убедитесь, что установка выполнена успешно, введя crepe в окне команд. Если сеть установлена, то функция возвращает DAGNetwork(Панель инструментов глубокого обучения).
crepe
ans =
DAGNetwork with properties:
Layers: [34×1 nnet.cnn.layer.Layer]
Connections: [33×2 table]
InputNames: {'input'}
OutputNames: {'pitch'}
pitchnn Сеть CREPE требует предварительной обработки аудиосигналов для формирования буферизованных, перекрывающихся и нормализованных аудиокадров, которые могут использоваться в качестве входных данных в сети. В этом примере демонстрируется pitchnn выполнение всех этих шагов.
Считывание звукового сигнала для оценки основного тона. Визуализация и прослушивание звука. В аудиоклипе девять вокальных высказываний.
[audioIn,fs] = audioread('SingingAMajor-16-mono-18secs.ogg'); soundsc(audioIn,fs) T = 1/fs; t = 0:T:(length(audioIn)*T) - T; plot(t,audioIn); grid on axis tight xlabel('Time (s)') ylabel('Ampltiude') title('Singing in A Major')
Используйте pitchnn функция для получения оценки основного тона с использованием сети CREPE с ModelCapacity установить в значение tiny и ConfidenceThreshold отключено. Запрос pitchnn без выходных аргументов строит график оценки основного тона во времени. При звонке pitchnn перед загрузкой модели в командное окно выводится сообщение об ошибке со ссылкой на загрузку.
pitchnn(audioIn,fs,'ModelCapacity','tiny','ConfidenceThreshold',0)
С отключенным доверительным порогом, pitchnn обеспечивает оценку основного тона для каждого кадра. Увеличить ConfidenceThreshold кому 0.8.
pitchnn(audioIn,fs,'ModelCapacity','tiny','ConfidenceThreshold',0.8)
Звонить pitchnn с ModelCapacity установить в значение full. Существует девять первичных групп оценки основного тона, каждая группа соответствует одному из девяти речевых высказываний.
pitchnn(audioIn,fs,'ModelCapacity','full','ConfidenceThreshold',0.8)
Звонить spectrogram и сравнить частотное содержание сигнала с оценками основного тона из pitchnn. Использовать размер кадра 250 выборки и перекрытие 225 образцы или 90%. Использовать 4096 Точки DFT для преобразования.
spectrogram(audioIn,250,225,4096,fs,'yaxis')
[1] Ким, Чен Вук, Джастин Саламон, Питер Ли и Хуан Пабло Белло. «Crepe: Сверточное представление для оценки основного тона». В 2018 году IEEE Международная конференция по акустике, обработке речи и сигналов (ICASSP), 161-65. Калгари, AB: IEEE, 2018. https://doi.org/10.1109/ICASSP.2018.8461329.