В этом примере вы усиливаете графические процессоры для извлечения признаков и увеличения, чтобы уменьшить время, требуемое обучать модель глубокого обучения. Модель, которую вы обучаете, является сверточной нейронной сетью (CNN) для акустического распознавания отказа.
Audio Toolbox™ включает gpuArray
(Parallel Computing Toolbox) поддержка большинства экстракторов функции, включая популярные единицы, такие как melSpectrogram
(Audio Toolbox) и mfcc
(Audio Toolbox). Для обзора поддержки графического процессора смотрите Генерацию кода и Поддержку графического процессора (Audio Toolbox).
Загрузите и разархивируйте воздушный набор данных компрессора [1]. Этот набор данных состоит из записей от воздушных компрессоров в здоровом состоянии или одном из семи дефектных состояний.
url = 'https://www.mathworks.com/supportfiles/audio/AirCompressorDataset/AirCompressorDataset.zip'; downloadFolder = fullfile(tempdir,'AirCompressorDataset'); datasetLocation = tempdir; if ~isfolder(fullfile(datasetLocation,'AirCompressorDataset')) loc = websave(downloadFolder,url); unzip(loc,fullfile(datasetLocation,'AirCompressorDataset')) end
Создайте audioDatastore
Объект (Audio Toolbox) управлять данными и разделить его в наборы обучения и валидации.
ads = audioDatastore(downloadFolder,'IncludeSubfolders',true,'LabelSource','foldernames'); rng default [adsTrain,adsValidation] = splitEachLabel(ads,0.8);
Визуализируйте количество файлов в наборах обучения и валидации.
uniqueLabels = unique(adsTrain.Labels); tblTrain = countEachLabel(adsTrain); tblValidation = countEachLabel(adsValidation); H = bar(uniqueLabels,[tblTrain.Count, tblValidation.Count],'stacked'); legend(H,["Training Set","Validation Set"],'Location','NorthEastOutside')
Выберите случайные примеры из набора обучающих данных для графического вывода. Каждая запись имеет 50 000 выборок, произведенных на уровне 16 кГц.
t = (0:5e4-1)/16e3; tiledlayout(4,2,'TileSpacing','compact','Padding','compact') for n = 1:numel(uniqueLabels) idx = find(adsTrain.Labels==uniqueLabels(n)); [x,fs] = audioread(adsTrain.Files{idx(randperm(numel(idx),1))}); nexttile plotHandle = plot(t,x); if n == 7 || n == 8 xlabel('Seconds'); else set(gca,'xtick',[]) end title(string(uniqueLabels(n))); end
В этом примере вы выполняете извлечение признаков и увеличение данных при обучении сети. В этом разделе вы задаете извлечение признаков, и увеличение конвейерно обрабатывают и сравнивают скорость трубопровода, выполняемого на центральном процессоре против скорости трубопровода, выполняемого на графическом процессоре. Выход этого трубопровода является входом к CNN, который вы обучаете.
Создайте audioFeatureExtractor
Объект (Audio Toolbox) извлечь mel спектры с помощью 200 мс mel окна с транзитным участком на 5 мс. Выход от extract
numHops
- 128 1 массивом.
afe = audioFeatureExtractor('SampleRate',fs, ... 'FFTLength',4096, ... 'Window',hann(round(fs*0.2),'periodic'), ... 'OverlapLength',round(fs*0.195), ... 'melSpectrum',true); setExtractorParams(afe,"melSpectrum",'NumBands',128); featureVector = extract(afe,x); [numHops,numFeatures,numChannels] = size(featureVector)
numHops = 586
numFeatures = 128
numChannels = 1
Методы глубокого обучения голодны данных, и обучающий набор данных в этом примере относительно мал. Используйте путаницу [2] метод увеличения, чтобы эффективно увеличить набор обучающих данных. В путанице вы объединяете функции, извлеченные из двух звуковых сигналов как взвешенная сумма. Два сигнала имеют различные метки, и метка, присвоенная объединенной матрице функции, вероятностно присвоена на основе смесительного коэффициента. Увеличение путаницы реализовано в объекте поддержки, Mixup
.
Создайте трубопровод, чтобы выполнить следующие шаги:
Извлеките логарифмическую-mel спектрограмму.
Примените путаницу к матрицам функции. Mixup
поддержка объектных выходных параметров массив ячеек, содержащий функции и метку.
Создайте две версии трубопровода для сравнения: тот, который выполняет трубопровод на вашем центральном процессоре и тот, который преобразует необработанный звуковой сигнал в gpuArray
так, чтобы трубопровод был выполнен на вашем графическом процессоре.
offset = eps; adsTrainCPU = transform(adsTrain,@(x)log10(extract(afe,x)+offset)); mixerCPU = Mixup(adsTrainCPU); adsTrainCPU = transform(adsTrainCPU,@(x,info)mix(mixerCPU,x,info),'IncludeInfo',true); adsTrainGPU = transform(adsTrain,@gpuArray); adsTrainGPU = transform(adsTrainGPU,@(x)log10(extract(afe,x)+offset)); mixerGPU = Mixup(adsTrainGPU); adsTrainGPU = transform(adsTrainGPU,@(x,info)mix(mixerGPU,x,info),'IncludeInfo',true);
Для набора валидации примените трубопровод извлечения признаков, но не увеличение. Поскольку вы не применяете путаницу, создаете объединенный datastore, чтобы вывести массив ячеек, содержащий функции и метку. Снова, создайте один трубопровод валидации, который выполняется на вашем графическом процессоре и одном трубопроводе валидации, который выполняется на вашем центральном процессоре.
adsValidationGPU = transform(adsValidation,@gpuArray); adsValidationGPU = transform(adsValidationGPU,@(x){log10(extract(afe,x)+offset)}); adsValidationGPU = combine(adsValidationGPU,arrayDatastore(adsValidation.Labels)); adsValidationCPU = transform(adsValidation,@(x){log10(extract(afe,x)+offset)}); adsValidationCPU = combine(adsValidationCPU,arrayDatastore(adsValidation.Labels));
Сравните время, которое требуется для центрального процессора и одного графического процессора, чтобы извлечь функции и выполнить увеличение данных.
tic for ii = 1:numel(adsTrain.Files) x = read(adsTrainCPU); end cpuPipeline = toc; reset(adsTrainCPU) tic for ii = 1:numel(adsTrain.Files) x = read(adsTrainGPU); end wait(gpuDevice) % Ensure all calculations are completed gpuPipeline = toc; reset(adsTrainGPU) fprintf(['Read, extract, and augment train set (CPU): %0.2f seconds\n' ... 'Read, extract, and augment train set (GPU): %0.2f seconds\n' ... 'Speedup (CPU time)/(GPU time): %0.3f\n\n'], ... cpuPipeline,gpuPipeline,cpuPipeline/gpuPipeline)
Read, extract, and augment train set (CPU): 110.80 seconds Read, extract, and augment train set (GPU): 34.65 seconds Speedup (CPU time)/(GPU time): 3.198
Чтение от datastore вносит существенное количество полного времени к трубопроводу. Сравнение только экстракции и увеличения показывает еще большее ускорение. Сравните только извлечение признаков на графическом процессоре по сравнению с на центральном процессоре.
x = read(ads); extract(afe,x); % Incur initialization cost outside timing loop tic for ii = 1:numel(adsTrain.Files) features = log10(extract(afe,x)+offset); end cpuFeatureExtraction = toc; x = gpuArray(x); % Incur initialization cost outside timing loop extract(afe,x); tic for ii = 1:numel(adsTrain.Files) features = log10(extract(afe,x)+offset); end wait(gpuDevice) % Ensure all calculations are completed gpuFeatureExtraction = toc; fprintf(['Extract features from train set (CPU): %0.2f seconds\n' ... 'Extract features from train set (GPU): %0.2f seconds\n' ... 'Speedup (CPU time)/(GPU time): %0.3f\n\n'], ... cpuFeatureExtraction,gpuFeatureExtraction,cpuFeatureExtraction/gpuFeatureExtraction)
Extract features from train set (CPU): 50.57 seconds Extract features from train set (GPU): 4.48 seconds Speedup (CPU time)/(GPU time): 11.299
Задайте сверточную нейронную сеть, которая берет увеличенную mel спектрограмму, как введено. Эта сеть применяет один сверточный слой, состоящий из 48 фильтров с 3х3 ядрами, сопровождаемыми слоем нормализации партии. и слоем активации ReLU. Измерение времени затем сворачивается с помощью макс. слоя объединения. Наконец, выход слоя объединения сокращен с помощью полносвязного слоя, сопровождаемого слоями классификации и softmax. Смотрите Список слоев глубокого обучения для получения дополнительной информации.
numClasses = numel(categories(adsTrain.Labels)); imageSize = [numHops,afe.FeatureVectorLength]; layers = [ imageInputLayer(imageSize,'Normalization','none') convolution2dLayer(3,48,'Padding','same') batchNormalizationLayer reluLayer maxPooling2dLayer([numHops,1]) fullyConnectedLayer(numClasses) softmaxLayer classificationLayer('Classes',categories(adsTrain.Labels)); ];
Чтобы задать опции обучения, используйте trainingOptions
. Установите ExecutionEnvironment
к multi-gpu
усиливать несколько графических процессоров, при наличии. В противном случае можно установить ExecutionEnvironment
к gpu
. Компьютер, используемый в этом примере, имеет доступ к четырем Титанам V устройств графического процессора. В этом примере сетевое обучение всегда усиливает графические процессоры.
miniBatchSize = 128; options = trainingOptions('adam', ... 'Shuffle','every-epoch', ... 'MaxEpochs',40, ... 'LearnRateSchedule',"piecewise", ... 'LearnRateDropPeriod',15, ... 'LearnRateDropFactor',0.2, ... 'MiniBatchSize',miniBatchSize, ... 'Plots','training-progress', ... 'Verbose',false, ... 'ValidationData',adsValidationCPU, ... 'ValidationFrequency',ceil(numel(adsTrain.Files)/miniBatchSize), ... 'ExecutionEnvironment','multi-gpu');
Вызовите trainNetwork
обучать сеть с помощью центрального процессора для трубопровода извлечения признаков. Средой выполнения для сетевого обучения является ваш графический процессор (процессоры).
tic net = trainNetwork(adsTrainCPU,layers,options);
cpuTrainTime = toc;
Замените данные о валидации в опциях обучения с основанным на графическом процессоре трубопроводом. Обучите сеть с помощью графического процессора (процессоров) для трубопровода извлечения признаков. Средой выполнения для сетевого обучения является ваш графический процессор (процессоры).
options.ValidationData = adsValidationGPU; tic net = trainNetwork(adsTrainGPU,layers,options);
gpuTrainTime = toc;
Распечатайте результаты синхронизации для обучения с помощью центрального процессора для извлечения признаков и увеличения и обучения с помощью графического процессора (процессоров) для извлечения признаков и увеличения.
fprintf(['Training time (CPU): %0.2f seconds\n' ... 'Training time (GPU): %0.2f seconds\n' ... 'Speedup (CPU time)/(GPU time): %0.3f\n\n'], ... cpuTrainTime,gpuTrainTime,cpuTrainTime/gpuTrainTime)
Training time (CPU): 4242.82 seconds Training time (GPU): 731.77 seconds Speedup (CPU time)/(GPU time): 5.798
Сравните время, которое требуется, чтобы выполнить предсказание на одних 3 вторых клипах, когда извлечение признаков выполняется на графическом процессоре по сравнению с центральным процессором. В обоих случаях сетевое предсказание происходит на вашем графическом процессоре.
signalToClassify = read(ads); gpuFeatureExtraction = gputimeit(@()predict(net,log10(extract(afe,gpuArray(signalToClassify))+offset))); cpuFeatureExtraction = gputimeit(@()predict(net,log10(extract(afe,(signalToClassify))+offset))); fprintf(['Prediction time for 3 s of data (feature extraction on CPU): %0.2f ms\n' ... 'Prediction time for 3 s of data (feature extraction on GPU): %0.2f ms\n' ... 'Speedup (CPU time)/(GPU time): %0.3f\n\n'], ... cpuFeatureExtraction*1e3,gpuFeatureExtraction*1e3,cpuFeatureExtraction/gpuFeatureExtraction)
Prediction time for 3 s of data (feature extraction on CPU): 41.62 ms Prediction time for 3 s of data (feature extraction on GPU): 7.71 ms Speedup (CPU time)/(GPU time): 5.397
Сравните время, которое требуется, чтобы выполнить предсказание на наборе 3 вторых клипов, когда извлечение признаков выполняется на графическом процессоре (процессорах) по сравнению с центральным процессором. В обоих случаях сетевое предсказание происходит на вашем графическом процессоре (процессорах).
adsValidationGPU = transform(adsValidation,@(x)gpuArray(x)); adsValidationGPU = transform(adsValidationGPU,@(x){log10(extract(afe,x)+offset)}); adsValidationCPU = transform(adsValidation,@(x){log10(extract(afe,x)+offset)}); gpuFeatureExtraction = gputimeit(@()predict(net,adsValidationGPU,'ExecutionEnvironment','multi-gpu')); cpuFeatureExtraction = gputimeit(@()predict(net,adsValidationCPU,'ExecutionEnvironment','multi-gpu')); fprintf(['Prediction time for validation set (feature extraction on CPU): %0.2f s\n' ... 'Prediction time for validation set (feature extraction on GPU): %0.2f s\n' ... 'Speedup (CPU time)/(GPU time): %0.3f\n\n'], ... cpuFeatureExtraction,gpuFeatureExtraction,cpuFeatureExtraction/gpuFeatureExtraction)
Prediction time for validation set (feature extraction on CPU): 34.11 s Prediction time for validation set (feature extraction on GPU): 5.53 s Speedup (CPU time)/(GPU time): 6.173
Известно, что можно уменьшить время, которое требуется, чтобы обучить сеть путем усиления устройств графического процессора. Это позволяет вам более быстро выполнить итерации и разработать свою итоговую систему. Во многих учебных настройках можно достигнуть дополнительного увеличения производительности путем усиления устройств графического процессора для увеличения данных и извлечения признаков. Этот пример показывает значительное уменьшение в полное время, которое требуется, чтобы обучить CNN при усилении устройств графического процессора для увеличения данных и извлечения признаков. Кроме того, усиление устройств графического процессора для извлечения признаков во время вывода, и для одно наблюдений и для наборов данных, достигает значительного увеличения производительности.
Объект поддержки, Mixup
, помещается в вашу текущую папку, когда вы открываете этот пример.
type Mixup
classdef Mixup < handle %MIXUP Mixup data augmentation % mixer = Mixup(augDatastore) creates an object that can mix features % at a randomly set ratio and then probabilistically set the output % label as one of the two original signals. % % Mixup Properties: % MixProbability - Mix probability % AugDatastore - Augmentation datastore % % Mixup Methods: % mix - Apply mixup % % Copyright 2021 The MathWorks, Inc. properties (SetAccess=public,GetAccess=public) %MixProbability Mix probability % Specify the probability that mixing is applied as a scalar in the % range [0,1]. If unspecified, MixProbability defaults to 1/3. MixProbability (1,1) {mustBeNumeric} = 1/3; end properties (SetAccess=immutable,GetAccess=public) %AUGDATASTORE Augmentation datastore % Specify a datastore from which to get the mixing signals. The % datastore must contain a label in the info returned from reading. % This property is immutable, meaning it cannot be changed after % construction. AugDatastore end methods function obj = Mixup(augDatastore) obj.AugDatastore = augDatastore; end function [dataOut,infoOut] = mix(obj,x,infoIn) %MIX Apply mixup % [dataOut,infoOut] = mix(mixer,x,infoIn) probabilistically mix % the input, x, and its associated label contained in infoIn % with a signal randomly drawn from the augmentation datastore. % The output, dataOut, is a cell array with two columns. The % first column contains the features and the second column % contains the label. if rand > obj.MixProbability % Only mix ~1/3 the dataset % Randomly set mixing coefficient. Draw from a normal % distribution with mean 0.5 and contained within [0,1]. lambda = max(min((randn./10)+0.5,1),0); % Read one file from the augmentation datastore. subDS = subset(obj.AugDatastore,randi([1,numel(obj.AugDatastore.UnderlyingDatastores{1}.Files)])); [y,yInfo] = read(subDS); % Mix the features element-by-element according to lambda. dataOut = lambda*x + (1-lambda)*y; % Set the output label probabilistically based on the mixing coefficient. if lambda < rand labelOut = yInfo.Label; infoOut.Label = labelOut; else labelOut = infoIn.Label; end infoOut.Label = labelOut; % Combine the output data and labels. dataOut = [{dataOut},{labelOut}]; else % Do not apply mixing dataOut = [{x},{infoIn.Label}]; infoOut = infoIn; end end end end
[1] Verma, Нищел К., и др. "Интеллектуальный основанный на условии Контроль Используя Акустические Сигналы для Воздушных Компрессоров". Транзакции IEEE на Надежности, издании 65, № 1, март 2016, стр 291–309. DOI.org (Crossref), doi:10.1109/TR.2015.2459684.
[2] Huszar, Ференц. "Путаница: информационно-зависимое Увеличение Данных". InFERENCe. 03 ноября 2017. Полученный доступ 15 января 2019. https://www.inference.vc/mixup-data-dependent-data-augmentation/.