Exponenta Banner

Ключевое слово Spotting in Noise Code Generation on Raspberry Pi

Этот пример использует:

Открыть Live Script

Этот пример демонстрирует генерацию кода для определения ключевого слова с помощью двунаправленной сети долгой краткосрочной памяти (BiLSTM) и коэффициента mel frequency cepstral (MFCC), редукции данных на Raspberry Pi™. MATLAB ® Coder™ с поддержкой глубокого обучения позволяет создавать автономный исполняемый файл (.elf) на Raspberry Pi. Связь между файлом MATLAB ® (.mlx) и сгенерированным исполняемым файлом происходит по асинхронному протоколу UDP. Входящий речевой сигнал отображается с помощью timescope. Маска отображается в виде синего прямоугольника, окружающего пятнистые образцы ключевого слова YES. Для получения дополнительной информации о редукции данных MFCC и нейронной сети для глубокого обучения обучении, посетите Keyword Spotting in Noise Using MFCC и LSTM Networks.

Пример требований

  • MATLAB ® Coder для пакета поддержки глубокого обучения

  • Процессор ARM, поддерживающий расширение NEON

  • ARM Compute Library версии 20.02.1 (на целевом оборудовании ARM)

  • Переменные окружения для компиляторов и библиотек

Для поддерживаемых версий библиотек и для получения информации о настройке переменных окружения смотрите Необходимые условия для глубокого обучения с MATLAB Coder (MATLAB Coder).

Предварительно обученное сетевое ключевое слово Spotting с использованием MATLAB ® и передачи потокового аудио из микрофона

Частота дискретизации предварительно обученной сети 16 кГц. Установите длину окна равной 512 выборки, с длиной перекрытия 384 выборки и длина скачка, заданная как различие между длиной окна и перекрытия. Задайте скорость оценки маски. Маска генерируется один раз для каждого numHopsPerUpdate аудио систем координат.

fs = 16e3;
windowLength = 512;
overlapLength = 384;
hopLength = windowLength - overlapLength;

numHopsPerUpdate = 16;
maskLength = hopLength * numHopsPerUpdate;

Создайте audioFeatureExtractor объект для выполнения редукции данных MFCC. 

afe = audioFeatureExtractor('SampleRate',fs, ...
                            'Window',hann(windowLength,'periodic'), ...
                            'OverlapLength',overlapLength, ...
                            'mfcc',true, ...
                            'mfccDelta',true, ...
                            'mfccDeltaDelta',true);

Загрузите и загрузите предварительно обученную сеть, а также среднее (M) и стандартное отклонение (S) векторы, используемые для стандартизации функций.

url = 'http://ssd.mathworks.com/supportfiles/audio/KeywordSpotting.zip';
downloadNetFolder = './';
netFolder = fullfile(downloadNetFolder,'KeywordSpotting');
if ~exist(netFolder,'dir')
    disp('Downloading pretrained network and audio files (4 files - 7 MB) ...')
    unzip(url,downloadNetFolder)
end
load(fullfile(netFolder,'KWSNet.mat'),"KWSNet","M","S");

Функции generateMATLABFunction на audioFeatureExtractor объект, чтобы создать функцию редукции данных. 

generateMATLABFunction(afe,'generateKeywordFeatures','IsStreaming',true);

Задайте Аудио устройство object™ Reader System, чтобы считать аудио с микрофона. Установите длину системы координат равной длине скачка. Это позволяет расчету новый набор функций для каждого нового аудио системы координат, полученного от микрофона.

frameLength = hopLength;
adr = audioDeviceReader('SampleRate',fs, ...
                        'SamplesPerFrame',frameLength,'OutputDataType','single');

Создайте Time Scope, чтобы визуализировать речевые сигналы и предполагаемую маску.

scope = timescope('SampleRate',fs, ...
                  'TimeSpanSource','property', ...
                  'TimeSpan',5, ...
                  'TimeSpanOverrunAction','Scroll', ...
                  'BufferLength',fs*5*2, ...
                  'ShowLegend',true, ...
                  'ChannelNames',{'Speech','Keyword Mask'}, ...
                  'YLimits',[-1.2 1.2], ...
                  'Title','Keyword Spotting');

Инициализируйте буфер для аудио данных, буфер для вычисляемых функций и буфер для построения графика входа аудио и выхода маски речи.

dataBuff = dsp.AsyncBuffer(windowLength);
featureBuff = dsp.AsyncBuffer(numHopsPerUpdate);
plotBuff = dsp.AsyncBuffer(numHopsPerUpdate*windowLength);

Выполните определение ключевого слова на речи, полученной от микрофона. Чтобы запустить цикл бесконечно, установите timeLimit на Inf. Чтобы остановить симуляцию, закройте scope.

show(scope);
timeLimit = 20;
tic
while toc < timeLimit && isVisible(scope)
    
    data = adr();
    write(dataBuff,data);
    write(plotBuff,data);
    
    frame = read(dataBuff,windowLength,overlapLength);
    features = generateKeywordFeatures(frame,fs);
    write(featureBuff,features.');

    if featureBuff.NumUnreadSamples == numHopsPerUpdate
        
        featureMatrix = read(featureBuff);
        featureMatrix(~isfinite(featureMatrix)) = 0;
        featureMatrix = (featureMatrix - M)./S;
        
        [keywordNet,v] = classifyAndUpdateState(KWSNet,featureMatrix.');
        
        v = double(v) - 1;
        v = repmat(v,hopLength,1);
        v = v(:);
        v = mode(v);
        v = repmat(v,numHopsPerUpdate * hopLength,1);
        
        data = read(plotBuff);
        scope([data,v]);
        
        drawnow limitrate;
    end
end
hide(scope)

The helperKeywordSpottingRaspi вспомогательная функция инкапсулирует редукцию данных и предсказания сети, продемонстрированный ранее. Чтобы сделать редукцию данных совместимой с генерацией кода, редукция данных обрабатывается сгенерированным generateKeywordFeatures функция. Чтобы сделать сеть совместимой с генерацией кода, вспомогательная функция использует coder.loadDeepLearningNetwork (MATLAB Coder) для загрузки сети.

Вспомогательная функция использует dsp.UDPReceiver Системный объект для приема захваченного аудио от MATLAB ® и использует dsp.UDPSender Системный объект для передачи входного речевого сигнала вместе с оценочной маской, предсказанной сетью, в MATLAB ®. Аналогично, live скрипт MATLAB ® использует dsp.UDPSender Системный объект для отправки захваченного речевого сигнала в исполняемый файл, работающий на Raspberry Pi и dsp.UDPReceiver Системный объект для приема речевого сигнала и оценочной маски от Raspberry Pi.

Сгенерируйте исполняемый файл на Raspberry Pi

Замените hostIPAddress с адресом вашей машины. Ваш Raspberry Pi отправляет входной речевой сигнал и оценочную маску на указанный IP-адрес.

hostIPAddress = coder.Constant('172.18.230.30');

Создайте объект строения генерации кода, чтобы сгенерировать исполняемую программу. Задайте целевой язык как C++.

cfg = coder.config('exe');
cfg.TargetLang = 'C++';

Создайте объект строения для генерации кода глубокого обучения с помощью вычислительной библиотеки ARM, которая находится на вашем Raspberry Pi. Задайте архитектуру Raspberry Pi и присоедините объект строения глубокого обучения к объекту строения генерации кода.

dlcfg = coder.DeepLearningConfig('arm-compute');
dlcfg.ArmArchitecture = 'armv7';
dlcfg.ArmComputeVersion = '20.02.1';
cfg.DeepLearningConfig = dlcfg;

Используйте функцию Raspberry Pi Support Package, raspi, чтобы создать связь с вашим Raspberry Pi. В следующем коде замените:

  • raspiname с именем вашего Raspberry Pi

  • pi с вашим именем пользователя

  • password с вашим паролем 

r = raspi('raspiname','pi','password');

Создайте coder.hardware (MATLAB Coder) для Raspberry Pi и присоединить его к объекту строения генерации кода.

hw = coder.hardware('Raspberry Pi');
cfg.Hardware = hw;

Укажите папку сборки на Raspberry Pi.

buildDir = '~/remoteBuildDir';
cfg.Hardware.BuildDir = buildDir;

Сгенерируйте основной файл C++, необходимый для создания независимого исполняемого файла.

cfg.GenerateExampleMain = 'GenerateCodeAndCompile';

Сгенерируйте код С++ для helperKeywordSpottingRaspi на твоем малиновом Пи.

codegen -config cfg helperKeywordSpottingRaspi -args {hostIPAddress} -report 
 Deploying code. This may take a few minutes. 
Warning: Function 'helperKeywordSpottingRaspi' does not terminate due to an
infinite loop.

Warning in ==> helperKeywordSpottingRaspi Line: 78 Column: 1
Code generation successful (with warnings): View report

Выполните споттинг по ключевым словам, используя развернутый код

Создайте команду, чтобы открыть helperKeywordSpottingRaspi применение на Raspberry Pi. Использование system отправить команду на свой Raspberry Pi.

applicationName = 'helperKeywordSpottingRaspi';

applicationDirPaths = raspi.utils.getRemoteBuildDirectory('applicationName',applicationName);
targetDirPath = applicationDirPaths{1}.directory;

exeName = strcat(applicationName,'.elf');
command = ['cd ',targetDirPath,'; ./',exeName,' &> 1 &'];

system(r,command);

Создайте dsp.UDPSender Системный объект для отправки аудио, захваченное в MATLAB ®, на ваш Raspberry Pi. Обновление targetIPAddress для вашего малинового Пи. Raspberry Pi получает захваченное аудио от того же порта, используя dsp.UDPReceiver Системный объект.

targetIPAddress = '172.18.240.234';
UDPSend = dsp.UDPSender('RemoteIPPort',26000,'RemoteIPAddress',targetIPAddress);

Создайте dsp.UDPReceiver Системный объект для приема речевых данных и предсказанной речевой маски от вашего Raspberry Pi. Каждый пакет UDP, полученный от Raspberry Pi, состоит из maskLength маска и речевые выборки. Максимальная длина сообщения для dsp.UDPReceiver объект 65507 байты. Вычислите buffer size, чтобы вместить максимальное количество пакетов UDP.

sizeOfFloatInBytes = 4;
speechDataLength = maskLength; 
numElementsPerUDPPacket = maskLength + speechDataLength;
maxUDPMessageLength = floor(65507/sizeOfFloatInBytes);
numPackets = floor(maxUDPMessageLength/numElementsPerUDPPacket);
bufferSize = numPackets*numElementsPerUDPPacket*sizeOfFloatInBytes;

UDPReceive = dsp.UDPReceiver("LocalIPPort",21000, ...  
    "MessageDataType","single", ...
    "MaximumMessageLength",1+numElementsPerUDPPacket, ...
    "ReceiveBufferSize",bufferSize);

Запишите ключевое слово до тех пор, пока не будет открыта возможности или пока не будет достигнут предел времени. Чтобы остановить обнаружение в реальном времени до достижения предела времени, закройте возможности времени.

tic;
show(scope);
timelimit = 20;
while toc < timelimit && isVisible(scope)
    x = adr();
    UDPSend(x);
    data = UDPReceive(); 
    if ~isempty(data)
        mask = data(1:maskLength);
        dataForPlot = data(maskLength + 1 : numElementsPerUDPPacket);
        scope([dataForPlot,mask]);
    end
    drawnow limitrate;
end

Отпустите системные объекты и отключите независимый исполняемый файл.

hide(scope)
release(UDPSend)
release(UDPReceive)
release(scope)
release(adr)
stopExecutable(codertarget.raspi.raspberrypi,exeName)

Оцените время выполнения, используя альтернативный рабочий процесс функции PIL

Чтобы оценить время выполнения, занятое независимым исполняемым файлом на Raspberry Pi, используйте рабочий процесс PIL (процессор в цикле). Для выполнения профилирования PIL сгенерируйте функцию PIL для вспомогательной функции profileKeywordSpotting. The profileKeywordSpotting эквивалентно helperKeywordSpottingRaspi, за исключением того, что первый возвращает маску речи и предсказанную речь, в то время как второй отправляет те же параметры с использованием UDP. Время, затраченное вызовами UDP, составляет менее 1 мс, что относительно мало по сравнению с общим временем выполнения.

Создайте объект строения генерации кода, чтобы сгенерировать функцию PIL.

cfg = coder.config('lib','ecoder',true);
cfg.VerificationMode = 'PIL';

Установите вычислительную библиотеку и архитектуру ARM.

dlcfg = coder.DeepLearningConfig('arm-compute');
cfg.DeepLearningConfig = dlcfg ;
cfg.DeepLearningConfig.ArmArchitecture = 'armv7';
cfg.DeepLearningConfig.ArmComputeVersion = '20.02.1';

Настройте подключение к целевому компьютеру.

if (~exist('r','var'))
  r = raspi('raspiname','pi','password');
end
hw = coder.hardware('Raspberry Pi');
cfg.Hardware = hw;

Установите директорию сборки и целевой язык.

buildDir = '~/remoteBuildDir';
cfg.Hardware.BuildDir = buildDir;
cfg.TargetLang = 'C++';

Включите профилирование и сгенерируйте код PIL. Файл MEX с именем profileKeywordSpotting_pil сгенерирован в текущей папке.

cfg.CodeExecutionProfiling = true;
codegen -config cfg profileKeywordSpotting -args {pinknoise(hopLength,1,'single')} -report
 Deploying code. This may take a few minutes. 
### Connectivity configuration for function 'profileKeywordSpotting': 'Raspberry Pi'
Location of the generated elf : /home/pi/remoteBuildDir/MATLAB_ws/R2021a/E/sandbox/sporwal/Examples/ExampleManager/sporwal.Bdoc21a.j1572571/deeplearning_shared-ex18742368/codegen/lib/profileKeywordSpotting/pil
Code generation successful: View report

Оценка времени выполнения Raspberry Pi

Вызовите сгенерированную функцию PIL несколько раз, чтобы получить среднее время выполнения.

numPredictCalls = 10;
totalCalls = numHopsPerUpdate * numPredictCalls;

x = pinknoise(hopLength,1,'single');
for k = 1:totalCalls
    [maskReceived,inputSignal,plotFlag] = profileKeywordSpotting_pil(x);
end
### Starting application: 'codegen\lib\profileKeywordSpotting\pil\profileKeywordSpotting.elf'
    To terminate execution: clear profileKeywordSpotting_pil
### Launching application profileKeywordSpotting.elf...
    Execution profiling data is available for viewing. Open Simulation Data Inspector.
    Execution profiling report available after termination.

Завершает выполнение PIL.

clear profileKeywordSpotting_pil
### Host application produced the following standard output (stdout) and standard error (stderr) messages:

    Execution profiling report: report(getCoderExecutionProfile('profileKeywordSpotting'))

Сгенерируйте отчет профиля выполнения для оценки времени выполнения.

executionProfile = getCoderExecutionProfile('profileKeywordSpotting');
report(executionProfile, ...
       'Units','Seconds', ...
       'ScaleFactor','1e-03', ...
       'NumericFormat','%0.4f')
ans = 
'E:\sandbox\sporwal\Examples\ExampleManager\sporwal.Bdoc21a.j1572571\deeplearning_shared-ex18742368\codegen\lib\profileKeywordSpotting\html\orphaned\ExecutionProfiling_303d853869fa4b88.html'

Постройте график времени выполнения каждой системы координат из сгенерированного отчета.

Обработка первой системы координат заняла ~ 20 мс из-за накладных расходов на инициализацию. Всплески во временном графике в каждой 16-ой системе координат (numHopsPerUpdate) соответствуют вычислительно интенсивной функции предсказания, вызываемой каждой 16-ой системой координат. Максимальное время выполнения составляет ~ 30 мс, что ниже бюджета на 128 мс для потоковой передачи в реальном времени. Эффективность измеряется на Raspberry Pi 4 Model B Rev 1.1.

Документация Audio Toolbox

Поддержка