Этот пример демонстрирует генерацию кода для определения ключевого слова с помощью двунаправленной сети долгой краткосрочной памяти (BiLSTM) и коэффициента mel frequency cepstral (MFCC), редукции данных на Raspberry Pi™. MATLAB ® Coder™ с поддержкой глубокого обучения позволяет создавать автономный исполняемый файл (.elf) на Raspberry Pi. Связь между файлом MATLAB ® (.mlx) и сгенерированным исполняемым файлом происходит по асинхронному протоколу UDP. Входящий речевой сигнал отображается с помощью timescope
. Маска отображается в виде синего прямоугольника, окружающего пятнистые образцы ключевого слова YES. Для получения дополнительной информации о редукции данных MFCC и нейронной сети для глубокого обучения обучении, посетите Keyword Spotting in Noise Using MFCC и LSTM Networks.
MATLAB ® Coder для пакета поддержки глубокого обучения
Процессор ARM, поддерживающий расширение NEON
ARM Compute Library версии 20.02.1 (на целевом оборудовании ARM)
Переменные окружения для компиляторов и библиотек
Для поддерживаемых версий библиотек и для получения информации о настройке переменных окружения смотрите Необходимые условия для глубокого обучения с MATLAB Coder (MATLAB Coder).
Частота дискретизации предварительно обученной сети 16
кГц. Установите длину окна равной 512
выборки, с длиной перекрытия 384
выборки и длина скачка, заданная как различие между длиной окна и перекрытия. Задайте скорость оценки маски. Маска генерируется один раз для каждого numHopsPerUpdate
аудио систем координат.
fs = 16e3; windowLength = 512; overlapLength = 384; hopLength = windowLength - overlapLength; numHopsPerUpdate = 16; maskLength = hopLength * numHopsPerUpdate;
Создайте audioFeatureExtractor
объект для выполнения редукции данных MFCC.
afe = audioFeatureExtractor('SampleRate',fs, ... 'Window',hann(windowLength,'periodic'), ... 'OverlapLength',overlapLength, ... 'mfcc',true, ... 'mfccDelta',true, ... 'mfccDeltaDelta',true);
Загрузите и загрузите предварительно обученную сеть, а также среднее (M
) и стандартное отклонение (S
) векторы, используемые для стандартизации функций.
url = 'http://ssd.mathworks.com/supportfiles/audio/KeywordSpotting.zip'; downloadNetFolder = './'; netFolder = fullfile(downloadNetFolder,'KeywordSpotting'); if ~exist(netFolder,'dir') disp('Downloading pretrained network and audio files (4 files - 7 MB) ...') unzip(url,downloadNetFolder) end load(fullfile(netFolder,'KWSNet.mat'),"KWSNet","M","S");
Функции generateMATLABFunction
на audioFeatureExtractor
объект, чтобы создать функцию редукции данных.
generateMATLABFunction(afe,'generateKeywordFeatures','IsStreaming',true);
Задайте Аудио устройство object™ Reader System, чтобы считать аудио с микрофона. Установите длину системы координат равной длине скачка. Это позволяет расчету новый набор функций для каждого нового аудио системы координат, полученного от микрофона.
frameLength = hopLength; adr = audioDeviceReader('SampleRate',fs, ... 'SamplesPerFrame',frameLength,'OutputDataType','single');
Создайте Time Scope, чтобы визуализировать речевые сигналы и предполагаемую маску.
scope = timescope('SampleRate',fs, ... 'TimeSpanSource','property', ... 'TimeSpan',5, ... 'TimeSpanOverrunAction','Scroll', ... 'BufferLength',fs*5*2, ... 'ShowLegend',true, ... 'ChannelNames',{'Speech','Keyword Mask'}, ... 'YLimits',[-1.2 1.2], ... 'Title','Keyword Spotting');
Инициализируйте буфер для аудио данных, буфер для вычисляемых функций и буфер для построения графика входа аудио и выхода маски речи.
dataBuff = dsp.AsyncBuffer(windowLength); featureBuff = dsp.AsyncBuffer(numHopsPerUpdate); plotBuff = dsp.AsyncBuffer(numHopsPerUpdate*windowLength);
Выполните определение ключевого слова на речи, полученной от микрофона. Чтобы запустить цикл бесконечно, установите timeLimit
на Inf
. Чтобы остановить симуляцию, закройте scope
.
show(scope); timeLimit = 20; tic while toc < timeLimit && isVisible(scope) data = adr(); write(dataBuff,data); write(plotBuff,data); frame = read(dataBuff,windowLength,overlapLength); features = generateKeywordFeatures(frame,fs); write(featureBuff,features.'); if featureBuff.NumUnreadSamples == numHopsPerUpdate featureMatrix = read(featureBuff); featureMatrix(~isfinite(featureMatrix)) = 0; featureMatrix = (featureMatrix - M)./S; [keywordNet,v] = classifyAndUpdateState(KWSNet,featureMatrix.'); v = double(v) - 1; v = repmat(v,hopLength,1); v = v(:); v = mode(v); v = repmat(v,numHopsPerUpdate * hopLength,1); data = read(plotBuff); scope([data,v]); drawnow limitrate; end end hide(scope)
The helperKeywordSpottingRaspi
вспомогательная функция инкапсулирует редукцию данных и предсказания сети, продемонстрированный ранее. Чтобы сделать редукцию данных совместимой с генерацией кода, редукция данных обрабатывается сгенерированным generateKeywordFeatures
функция. Чтобы сделать сеть совместимой с генерацией кода, вспомогательная функция использует coder.loadDeepLearningNetwork
(MATLAB Coder) для загрузки сети.
Вспомогательная функция использует dsp.UDPReceiver
Системный объект для приема захваченного аудио от MATLAB ® и использует dsp.UDPSender
Системный объект для передачи входного речевого сигнала вместе с оценочной маской, предсказанной сетью, в MATLAB ®. Аналогично, live скрипт MATLAB ® использует dsp.UDPSender
Системный объект для отправки захваченного речевого сигнала в исполняемый файл, работающий на Raspberry Pi и dsp.UDPReceiver
Системный объект для приема речевого сигнала и оценочной маски от Raspberry Pi.
Замените hostIPAddress
с адресом вашей машины. Ваш Raspberry Pi отправляет входной речевой сигнал и оценочную маску на указанный IP-адрес.
hostIPAddress = coder.Constant('172.18.230.30');
Создайте объект строения генерации кода, чтобы сгенерировать исполняемую программу. Задайте целевой язык как C++.
cfg = coder.config('exe'); cfg.TargetLang = 'C++';
Создайте объект строения для генерации кода глубокого обучения с помощью вычислительной библиотеки ARM, которая находится на вашем Raspberry Pi. Задайте архитектуру Raspberry Pi и присоедините объект строения глубокого обучения к объекту строения генерации кода.
dlcfg = coder.DeepLearningConfig('arm-compute'); dlcfg.ArmArchitecture = 'armv7'; dlcfg.ArmComputeVersion = '20.02.1'; cfg.DeepLearningConfig = dlcfg;
Используйте функцию Raspberry Pi Support Package, raspi
, чтобы создать связь с вашим Raspberry Pi. В следующем коде замените:
raspiname
с именем вашего Raspberry Pi
pi
с вашим именем пользователя
password
с вашим паролем
r = raspi('raspiname','pi','password');
Создайте coder.hardware
(MATLAB Coder) для Raspberry Pi и присоединить его к объекту строения генерации кода.
hw = coder.hardware('Raspberry Pi');
cfg.Hardware = hw;
Укажите папку сборки на Raspberry Pi.
buildDir = '~/remoteBuildDir';
cfg.Hardware.BuildDir = buildDir;
Сгенерируйте основной файл C++, необходимый для создания независимого исполняемого файла.
cfg.GenerateExampleMain = 'GenerateCodeAndCompile';
Сгенерируйте код С++ для helperKeywordSpottingRaspi
на твоем малиновом Пи.
codegen -config cfg helperKeywordSpottingRaspi -args {hostIPAddress} -report
Deploying code. This may take a few minutes. Warning: Function 'helperKeywordSpottingRaspi' does not terminate due to an infinite loop. Warning in ==> helperKeywordSpottingRaspi Line: 78 Column: 1 Code generation successful (with warnings): View report
Создайте команду, чтобы открыть helperKeywordSpottingRaspi
применение на Raspberry Pi. Использование system
отправить команду на свой Raspberry Pi.
applicationName = 'helperKeywordSpottingRaspi'; applicationDirPaths = raspi.utils.getRemoteBuildDirectory('applicationName',applicationName); targetDirPath = applicationDirPaths{1}.directory; exeName = strcat(applicationName,'.elf'); command = ['cd ',targetDirPath,'; ./',exeName,' &> 1 &']; system(r,command);
Создайте dsp.UDPSender
Системный объект для отправки аудио, захваченное в MATLAB ®, на ваш Raspberry Pi. Обновление targetIPAddress
для вашего малинового Пи. Raspberry Pi получает захваченное аудио от того же порта, используя dsp.UDPReceiver
Системный объект.
targetIPAddress = '172.18.240.234'; UDPSend = dsp.UDPSender('RemoteIPPort',26000,'RemoteIPAddress',targetIPAddress);
Создайте dsp.UDPReceiver
Системный объект для приема речевых данных и предсказанной речевой маски от вашего Raspberry Pi. Каждый пакет UDP, полученный от Raspberry Pi, состоит из maskLength
маска и речевые выборки. Максимальная длина сообщения для dsp.UDPReceiver
объект 65507
байты. Вычислите buffer size, чтобы вместить максимальное количество пакетов UDP.
sizeOfFloatInBytes = 4; speechDataLength = maskLength; numElementsPerUDPPacket = maskLength + speechDataLength; maxUDPMessageLength = floor(65507/sizeOfFloatInBytes); numPackets = floor(maxUDPMessageLength/numElementsPerUDPPacket); bufferSize = numPackets*numElementsPerUDPPacket*sizeOfFloatInBytes; UDPReceive = dsp.UDPReceiver("LocalIPPort",21000, ... "MessageDataType","single", ... "MaximumMessageLength",1+numElementsPerUDPPacket, ... "ReceiveBufferSize",bufferSize);
Запишите ключевое слово до тех пор, пока не будет открыта возможности или пока не будет достигнут предел времени. Чтобы остановить обнаружение в реальном времени до достижения предела времени, закройте возможности времени.
tic; show(scope); timelimit = 20; while toc < timelimit && isVisible(scope) x = adr(); UDPSend(x); data = UDPReceive(); if ~isempty(data) mask = data(1:maskLength); dataForPlot = data(maskLength + 1 : numElementsPerUDPPacket); scope([dataForPlot,mask]); end drawnow limitrate; end
Отпустите системные объекты и отключите независимый исполняемый файл.
hide(scope) release(UDPSend) release(UDPReceive) release(scope) release(adr) stopExecutable(codertarget.raspi.raspberrypi,exeName)
Чтобы оценить время выполнения, занятое независимым исполняемым файлом на Raspberry Pi, используйте рабочий процесс PIL (процессор в цикле). Для выполнения профилирования PIL сгенерируйте функцию PIL для вспомогательной функции profileKeywordSpotting
. The profileKeywordSpotting
эквивалентно helperKeywordSpottingRaspi
, за исключением того, что первый возвращает маску речи и предсказанную речь, в то время как второй отправляет те же параметры с использованием UDP. Время, затраченное вызовами UDP, составляет менее 1 мс, что относительно мало по сравнению с общим временем выполнения.
Создайте объект строения генерации кода, чтобы сгенерировать функцию PIL.
cfg = coder.config('lib','ecoder',true); cfg.VerificationMode = 'PIL';
Установите вычислительную библиотеку и архитектуру ARM.
dlcfg = coder.DeepLearningConfig('arm-compute'); cfg.DeepLearningConfig = dlcfg ; cfg.DeepLearningConfig.ArmArchitecture = 'armv7'; cfg.DeepLearningConfig.ArmComputeVersion = '20.02.1';
Настройте подключение к целевому компьютеру.
if (~exist('r','var')) r = raspi('raspiname','pi','password'); end hw = coder.hardware('Raspberry Pi'); cfg.Hardware = hw;
Установите директорию сборки и целевой язык.
buildDir = '~/remoteBuildDir'; cfg.Hardware.BuildDir = buildDir; cfg.TargetLang = 'C++';
Включите профилирование и сгенерируйте код PIL. Файл MEX с именем profileKeywordSpotting_pil
сгенерирован в текущей папке.
cfg.CodeExecutionProfiling = true; codegen -config cfg profileKeywordSpotting -args {pinknoise(hopLength,1,'single')} -report
Deploying code. This may take a few minutes. ### Connectivity configuration for function 'profileKeywordSpotting': 'Raspberry Pi' Location of the generated elf : /home/pi/remoteBuildDir/MATLAB_ws/R2021a/E/sandbox/sporwal/Examples/ExampleManager/sporwal.Bdoc21a.j1572571/deeplearning_shared-ex18742368/codegen/lib/profileKeywordSpotting/pil Code generation successful: View report
Вызовите сгенерированную функцию PIL несколько раз, чтобы получить среднее время выполнения.
numPredictCalls = 10; totalCalls = numHopsPerUpdate * numPredictCalls; x = pinknoise(hopLength,1,'single'); for k = 1:totalCalls [maskReceived,inputSignal,plotFlag] = profileKeywordSpotting_pil(x); end
### Starting application: 'codegen\lib\profileKeywordSpotting\pil\profileKeywordSpotting.elf' To terminate execution: clear profileKeywordSpotting_pil ### Launching application profileKeywordSpotting.elf... Execution profiling data is available for viewing. Open Simulation Data Inspector. Execution profiling report available after termination.
Завершает выполнение PIL.
clear profileKeywordSpotting_pil
### Host application produced the following standard output (stdout) and standard error (stderr) messages: Execution profiling report: report(getCoderExecutionProfile('profileKeywordSpotting'))
Сгенерируйте отчет профиля выполнения для оценки времени выполнения.
executionProfile = getCoderExecutionProfile('profileKeywordSpotting'); report(executionProfile, ... 'Units','Seconds', ... 'ScaleFactor','1e-03', ... 'NumericFormat','%0.4f')
ans = 'E:\sandbox\sporwal\Examples\ExampleManager\sporwal.Bdoc21a.j1572571\deeplearning_shared-ex18742368\codegen\lib\profileKeywordSpotting\html\orphaned\ExecutionProfiling_303d853869fa4b88.html'
Обработка первой системы координат заняла ~ 20 мс из-за накладных расходов на инициализацию. Всплески во временном графике в каждой 16-ой системе координат (numHopsPerUpdate
) соответствуют вычислительно интенсивной функции предсказания, вызываемой каждой 16-ой системой координат. Максимальное время выполнения составляет ~ 30 мс, что ниже бюджета на 128 мс для потоковой передачи в реальном времени. Эффективность измеряется на Raspberry Pi 4 Model B Rev 1.1.