Загрузка речевых данных

Загрузите аудио файла данных, содержащее предложение «Дуба сильна, а также придает оттенок», на котором говорит мужской голос. Дискретизация сигнала производится на частоте 44,1 кГц.

[y,fs] = audioread('oak.m4a');

% To hear, type soundsc(y,fs)

Задайте метку

Задайте метку для присоединения к сигналу. Щелкните Добавить определение (Add Definition) на вкладке Маркер (Labeler). Укажите имя метки следующим Words, выберите тип метки ROI, и введите тип данных следующим string.

Создайте пользовательскую функцию автоматической маркировки

Создайте пользовательскую функцию, чтобы пометить слова, сказанные в аудио файла. (Код для stt функция появится позже в примере.) Для получения дополнительной информации см. раздел «Пользовательские функции маркировки».

Определение местоположения и идентификация разговорных слов

Найдите и идентифицируйте слова, сказанные в входном сигнале.

Signal Labeler определяет местоположение и маркирует произнесенные слова.

Экспорт маркированного сигнала

Экспортируйте маркированный сигнал. На вкладке Labeler нажмите Экспорт и выберите Labeled Signal Set To File. В появившемся диалоговом окне дайте имя Transcription.mat к маркированному набору сигналов и добавить необязательное краткое описание. Нажмите Экспорт.

Вернитесь к Командному окну MATLAB ®. Загрузите маркированный набор сигналов. Набор имеет только один представитель. Получите имена меток и используйте имя для получения и отображения транскрибированных слов.

load Transcription

ln = getLabelNames(transcribedAudio);

v = getLabelValues(transcribedAudio,1,ln)

v=7×2 table
     ROILimits       Value  
    ____________    ________

    0.09    0.56    "oak"   
    0.59    0.97    "is"    
       1    1.78    "strong"
    1.94    2.19    "and"   
    2.22    2.67    "also"  
    2.67    3.22    "gives" 
    3.25    3.91    "shade" 

Измените значения меток со строк на категории. Использование signalMask объект, чтобы построить график сигнала с использованием другого цвета для каждого слова.

v.Value = categorical(v.Value,v.Value);

msk = signalMask(v,'SampleRate',fs);

s = getSignal(transcribedAudio,1);

plotsigroi(msk,s.y)

stt Функция: Найти и идентифицировать разговорные слова

Эта функция использует IBM Watson Speech API и Audio Toolbox speech2text расширение функциональности для извлечения произнесенных слов из аудио файла.

function [labelVals,labelLocs] = stt(x,t,parentLabelVal,parentLabelLoc,varargin)

aspeechObjectIBM = speechClient('IBM','timestamps',true);

fs = 1/(t(2)-t(1));

tixt = speech2text(aspeechObjectIBM,x,fs);

numLabels = numel(tixt.TimeStamps{:});
labelVals = strings(numLabels,1);
labelLocs = zeros(numLabels,2);

for idx = 1:numLabels
    labelVals(idx) = tixt.TimeStamps{:}{idx}{1};
    labelLocs(idx,1) = tixt.TimeStamps{:}{idx}{2};
    labelLocs(idx,2) = tixt.TimeStamps{:}{idx}{3};
end

end