Создание кода распознавания речевых команд с помощью Intel MKL-DNN

В этом примере используются:

В этом примере показано, как развернуть извлечение функций и сверточную нейронную сеть (CNN) для распознавания речевых команд на процессорах Intel ®. Для создания извлечения функций и сетевого кода используется кодер MATLAB и библиотека Intel Math Kernel Library for Deep Neural Networks (MKL-DNN). В этом примере генерируемый код является исполняемой функцией MATLAB (MEX), которая вызывается сценарием MATLAB, который отображает предсказанную речевую команду вместе с сигналом временной области и слуховой спектрограммой. Дополнительные сведения о предварительной обработке звука и обучении работе с сетью см. в разделе Распознавание речевых команд с помощью глубокого обучения (Audio Toolbox).

Предпосылки

Интерфейс кодера MATLAB для пакета поддержки глубокого обучения
Процессор Xeon с поддержкой Intel Advanced Vector Extensions 2 (Intel AVX2)
Библиотека Intel Math Kernel Library для глубоких нейронных сетей (MKL-DNN)
Переменные среды для Intel MKL-DNN

Поддерживаемые версии библиотек и сведения о настройке переменных среды см. в разделе Предварительные условия для глубокого обучения с помощью кодера MATLAB (MATLAB Coder).

Демонстрация потоковой передачи в MATLAB

Используйте те же параметры для конвейера извлечения элементов и классификации, что и в разделе Распознавание речевых команд с помощью глубокого обучения (Audio Toolbox).

Определите ту же частоту выборки, на которой обучалась сеть (16 кГц). Определите скорость классификации и количество входных аудиоотсчетов в кадре. Функциональный вход в сеть представляет собой спектрограмму Барка, которая соответствует 1 секунде аудиоданных. Спектрограмма Барка рассчитана для окон 25 мс с 10 мс хмеля.

fs = 16000; 
classificationRate = 20;
samplesPerCapture = fs/classificationRate;

segmentDuration = 1;
segmentSamples = round(segmentDuration*fs);

frameDuration = 0.025;
frameSamples = round(frameDuration*fs);

hopDuration = 0.010;
hopSamples = round(hopDuration*fs);

Создание audioFeatureExtractor (Audio Toolbox) - объект для извлечения 50-диапазонных спектрограмм Барка без нормализации окна.

afe = audioFeatureExtractor( ...
    'SampleRate',fs, ...
    'FFTLength',512, ...
    'Window',hann(frameSamples,'periodic'), ...
    'OverlapLength',frameSamples - hopSamples, ...
    'barkSpectrum',true);

numBands = 50;
setExtractorParams(afe,'barkSpectrum','NumBands',numBands,'WindowNormalization',false);

Загрузите предварительно обученную сверточную нейронную сеть и метки.

load('commandNet.mat')
labels = trainedNet.Layers(end).Classes;
numLabels = numel(labels);
backgroundIdx = find(labels == 'background');

Определение буферов и порогов принятия решений для прогнозирования сети после обработки.

probBuffer = single(zeros([numLabels,classificationRate/2]));
YBuffer = single(numLabels * ones(1, classificationRate/2)); 

countThreshold = ceil(classificationRate*0.2);
probThreshold = single(0.7);

Создание audioDeviceReader (Audio Toolbox) объект для чтения звука с устройства. Создать dsp.AsyncBuffer Объект (DSP System Toolbox) для буферизации звука в блоки.

adr = audioDeviceReader('SampleRate',fs,'SamplesPerFrame',samplesPerCapture,'OutputDataType','single');
audioBuffer = dsp.AsyncBuffer(fs);

Создать dsp.MatrixViewer (DSP System Toolbox) объект и timescope(Панель системных инструментов DSP) для отображения результатов.

matrixViewer = dsp.MatrixViewer("ColorBarLabel","Power per band (dB/Band)", ...
    "XLabel","Frames", ...
    "YLabel","Bark Bands", ...
    "Position",[400 100 600 250], ...
    "ColorLimits",[-4 2.6445], ...
    "AxisOrigin",'Lower left corner', ...
    "Name","Speech Command Recognition Using Deep Learning");

timeScope = timescope('SampleRate', fs, ...
    'YLimits',[-1 1], 'Position', [400 380 600 250], ...
    'Name','Speech Command Recognition Using Deep Learning', ...
    'TimeSpanSource','Property', ...
    'TimeSpan',1, ...
    'BufferLength',fs);

timeScope.YLabel = 'Amplitude';
timeScope.ShowGrid = true;

Отображение области времени и средства просмотра матриц. Обнаруживайте команды до тех пор, пока открыты область времени и средство просмотра матриц или пока не будет достигнут предел времени. Чтобы остановить обнаружение в реальном времени до достижения предела времени, закройте окно области времени или окно просмотра матрицы.

show(timeScope)
show(matrixViewer)
timeLimit = 10;

tic
while isVisible(timeScope) && isVisible(matrixViewer) && toc < timeLimit
    %% Capture Audio
    x = adr();
    write(audioBuffer,x);
    y = read(audioBuffer,fs,fs-samplesPerCapture);
    
    % Compute auditory features
    features = extract(afe,y);
    auditory_features = log10(features + 1e-6);
    
    % Transpose to get the auditory spectrum
    auditorySpectrum = auditory_features';
    
    % Perform prediction
    probs = predict(trainedNet, auditory_features);      
    [~, YPredicted] = max(probs);
    
    % Perform statistical post processing
    YBuffer = [YBuffer(2:end),YPredicted];
    probBuffer = [probBuffer(:,2:end),probs(:)];

    [YMode_idx, count] = mode(YBuffer);
    count = single(count);
    maxProb = max(probBuffer(YMode_idx,:));

    if (YMode_idx == single(backgroundIdx) || count < countThreshold || maxProb < probThreshold)
        speechCommandIdx = backgroundIdx;
    else
        speechCommandIdx = YMode_idx;
    end
    
    % Update plots
    matrixViewer(auditorySpectrum);
    timeScope(x);

    if (speechCommandIdx == backgroundIdx)
        timeScope.Title = ' ';
    else
        timeScope.Title = char(labels(speechCommandIdx));
    end
    drawnow
end

Скрыть области.

hide(matrixViewer)
hide(timeScope)

Подготовка кода MATLAB к развертыванию

Чтобы создать функцию для выполнения извлечения функции, совместимой с генерацией кода, вызовите generateMATLABFunction (Панель звуковых инструментов) на audioFeatureExtractor объект. generateMATLABFunction объектная функция создает автономную функцию, которая выполняет извлечение эквивалентных элементов и совместима с генерацией кода.

generateMATLABFunction(afe,'extractSpeechFeatures')

Функция поддержки HelperSpeechCommandRecognition инкапсулирует процесс извлечения функций и сетевого прогнозирования, продемонстрированный ранее. Чтобы извлечение признака было совместимо с генерацией кода, извлечение признака обрабатывается сгенерированным extractSpeechFeatures функция. Чтобы сеть была совместима с генерацией кода, функция поддержки использует coder.loadDeepLearningNetwork (Кодер MATLAB) для загрузки сети.

Используйте функцию HelperSpeechCommandRecognition для обнаружения речевых команд в реальном времени.

show(timeScope)
show(matrixViewer)
timeLimit = 10;

tic
while isVisible(timeScope) && isVisible(matrixViewer) && toc < timeLimit
    x = adr();    
        
    [speechCommandIdx, auditorySpectrum] = HelperSpeechCommandRecognition(x);  
		
    matrixViewer(auditorySpectrum);
    timeScope(x);
   
    if (speechCommandIdx == backgroundIdx)
        timeScope.Title = ' ';
    else
        timeScope.Title = char(labels(speechCommandIdx));
    end
    drawnow
end

Скрыть области.

hide(timeScope)
hide(matrixViewer)

Создание исполняемого файла MATLAB

Создание объекта конфигурации создания кода для создания исполняемой программы. Укажите целевой язык как C++.

cfg = coder.config('mex');
cfg.TargetLang = 'C++';

Создайте объект конфигурации для создания кода глубокого обучения с помощью библиотеки MKL-DNN. Присоедините объект конфигурации к объекту конфигурации генерации кода.

dlcfg = coder.DeepLearningConfig('mkldnn');
cfg.DeepLearningConfig = dlcfg;

Звонить codegen (кодер MATLAB) для генерации кода C++ для HelperSpeechCommandRecognition функция. Укажите объект конфигурации и аргументы прототипа. Файл MEX с именем HelperSpeechCommandRecognition_mex создается в текущей папке.

codegen HelperSpeechCommandRecognition -config cfg -args {rand(samplesPerCapture, 1, 'single')} -profile -report -v

Code generation successful: View report

Выполнение распознавания речевых команд с использованием развернутого кода

Отображение области времени и средства просмотра матриц. Обнаруживайте команды с использованием сгенерированного MEX до тех пор, пока открыты область времени и средство просмотра матриц или пока не будет достигнут предел времени. Чтобы остановить обнаружение в реальном времени до достижения предела времени, закройте окно области времени или окно просмотра матрицы.

show(timeScope)
show(matrixViewer)

timeLimit = 20;

tic
while isVisible(timeScope) && isVisible(matrixViewer) && toc < timeLimit
    x = adr();    
        
    [speechCommandIdx, auditorySpectrum] = HelperSpeechCommandRecognition_mex(x);
		
    matrixViewer(auditorySpectrum);
    timeScope(x);
   
    if (speechCommandIdx == backgroundIdx)
        timeScope.Title = ' ';
    else
        timeScope.Title = char(labels(speechCommandIdx));
    end
    drawnow
end

hide(matrixViewer)
hide(timeScope)

Оценка времени выполнения MEX

Использовать tic и toc сравнение времени выполнения для полного выполнения моделирования в MATLAB со временем выполнения функции MEX.

Измерьте производительность кода моделирования.

testDur = 50e-3;
x = pinknoise(fs*testDur,'single');
numLoops = 100;
tic
for k = 1:numLoops
    [speechCommandIdx, auditory_features] = HelperSpeechCommandRecognition(x);
end
exeTime = toc;
fprintf('SIM execution time per 50 ms of audio = %0.4f ms\n',(exeTime/numLoops)*1000);

SIM execution time per 50 ms of audio = 6.6746 ms

Измерьте производительность кода MEX.

tic
for k = 1:numLoops
    [speechCommandIdx, auditory_features] = HelperSpeechCommandRecognition_mex(x);
end
exeTimeMex = toc;
fprintf('MEX execution time per 50 ms of audio = %0.4f ms\n',(exeTimeMex/numLoops)*1000);

MEX execution time per 50 ms of audio = 1.5188 ms

Оцените производительность, полученную при использовании функции MEX. Этот тест производительности выполняется на компьютере с использованием графического процессора NVIDIA Quadro P620 (версия 26) и процессора Intel (R) Xeon (R) W-2133 с тактовой частотой 3,60 ГГц.

PerformanceGain = exeTime/exeTimeMex

PerformanceGain = 4.3945

Документация