Оптимизация извлечения звуковых функций
audioFeatureExtractor инкапсулирует несколько экстракторов звуковых функций в упрощенную и модульную реализацию.
aFE = audioFeatureExtractor()
aFE = audioFeatureExtractor(Name,Value)aFE с использованием одного или нескольких аргументов пары имя-значение.
extract | Извлечение функций звука |
setExtractorParams | Установка значений параметров по умолчанию для отдельных экстракторов элементов |
info | Отображение выходных данных и отдельные параметры экстрактора элементов |
generateMATLABFunction | Создание функции MATLAB, совместимой с генерацией кода C/C + + |
Считывание звукового сигнала.
[audioIn,fs] = audioread("Counting-16-44p1-mono-15secs.wav");Создание audioFeatureExtractor объект, извлекающий MFCC, дельта MFCC, дельта-дельта MFCC, тон и спектральный центроид звукового сигнала. Используйте окно анализа 30 мс с перекрытием 20 мс.
aFE = audioFeatureExtractor( ... "SampleRate",fs, ... "Window",hamming(round(0.03*fs),"periodic"), ... "OverlapLength",round(0.02*fs), ... "mfcc",true, ... "mfccDelta",true, ... "mfccDeltaDelta",true, ... "pitch",true, ... "spectralCentroid",true);
Звонить extract для извлечения звуковых характеристик из звукового сигнала.
features = extract(aFE,audioIn);
Использовать info определяют, какой столбец матрицы извлечения признаков соответствует запрошенному выделению основного тона.
idx = info(aFE)
idx = struct with fields:
mfcc: [1 2 3 4 5 6 7 8 9 10 11 12 13]
mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26]
mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39]
spectralCentroid: 40
pitch: 41
Постройте график обнаруженного шага во времени.
t = linspace(0,size(audioIn,1)/fs,size(features,1)); plot(t,features(:,idx.pitch)) title('Pitch') xlabel('Time (s)') ylabel('Frequency (Hz)')
Создайте хранилище аудиоданных, указывающее на аудиозаписи, включенные в Audio Toolbox ®.
folder = fullfile(matlabroot,'toolbox','audio','samples'); ads = audioDatastore(folder);
Найдите все файлы, соответствующие частоте дискретизации 44,1 кГц, а затем subset хранилище данных.
keepFile = cellfun(@(x)contains(x,'44p1'),ads.Files);
ads = subset(ads,keepFile);Преобразование данных в tall массив. tall массивы вычисляются только при явном запросе с использованием gather. MATLAB ® автоматически оптимизирует вычисления в очереди, минимизируя количество проходов через данные. При наличии Toolbox™ параллельных вычислений можно распределить вычисления по нескольким машинам. Аудиоданные представлены в виде массива ячеек M-by-1 высокого уровня, где М - количество файлов в хранилище аудиоданных.
adsTall = tall(ads)
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
adsTall =
M×1 tall cell array
{ 539648×1 double}
{ 227497×1 double}
{ 8000×1 double}
{ 685056×1 double}
{ 882688×2 double}
{1115760×2 double}
{ 505200×2 double}
{3195904×2 double}
: :
: :
Создание audioFeatureExtractor Сущность изобретения заключается в том, что из каждого аудиофайла выделяют спектр mel, спектр Bark, спектр ERB и линейный спектр. Используйте окно анализа по умолчанию и длину перекрытия для извлечения спектра.
aFE = audioFeatureExtractor('SampleRate',44.1e3, ... 'melSpectrum',true, ... 'barkSpectrum',true, ... 'erbSpectrum',true, ... 'linearSpectrum',true);
Определение cellfun функция, позволяющая извлекать звуковые характеристики из каждой ячейки массива высокого уровня. Звонить gather для вычисления массива высокого уровня.
specsTall = cellfun(@(x)extract(aFE,x),adsTall,"UniformOutput",false);
specs = gather(specsTall);Evaluating tall expression using the Parallel Pool 'local': - Pass 1 of 1: Completed in 12 sec Evaluation completed in 12 sec
specs переменная, возвращаемая при сборе, является массивом ячеек numFiles-by-1, где numFiles - количество файлов в хранилище данных. Каждый элемент массива ячеек является массивом numHops-by-numFeatures-by-numChannel, где количество переходов и количество каналов зависит от длины и количества каналов аудиофайла, а количество функций является запрошенным количеством функций из аудиоданных.
numFiles = numel(specs)
numFiles = 12
[numHops1,numFeaturesFile1,numChanelsFile1] = size(specs{1})numHops1 = 1053
numFeaturesFile1 = 620
numChanelsFile1 = 1
[numHops2,numFeaturesFile2,numChanelsFile2] = size(specs{2})numHops2 = 443
numFeaturesFile2 = 620
numChanelsFile2 = 1
audioFeatureExtractor создает трубопровод извлечения элемента на основе выбранных элементов. Для сокращения вычислений, audioFeatureExtractor повторно использует посреднические представления. Некоторые промежуточные представления могут выводиться как элементы:
Например, чтобы создать объект, извлекающий центроид спектра Барка, поток спектра Барка, шаг, отношение гармоник и дельта-дельта MFCC, укажите audioFeatureExtractor как:
aFE = audioFeatureExtractor( ... "SpectralDescriptorInput","barkSpectrum", ... "spectralCentroid",true, ... "spectralFlux",true, ... "pitch",true, ... "harmonicRatio",true, ... "mfccDeltaDelta",true)
aFE =
audioFeatureExtractor with properties:
Properties
Window: [1024×1 double]
OverlapLength: 512
SampleRate: 44100
FFTLength: []
SpectralDescriptorInput: 'barkSpectrum'
Enabled Features
mfccDeltaDelta, spectralCentroid, spectralFlux, pitch, harmonicRatio
Disabled Features
linearSpectrum, melSpectrum, barkSpectrum, erbSpectrum, mfcc, mfccDelta
gtcc, gtccDelta, gtccDeltaDelta, spectralCrest, spectralDecrease, spectralEntropy
spectralFlatness, spectralKurtosis, spectralRolloffPoint, spectralSkewness, spectralSlope, spectralSpread
To extract a feature, set the corresponding property to true.
For example, obj.mfcc = true, adds mfcc to the list of enabled features.
Примечание
Поскольку audioFeatureExtractor повторно использует промежуточные представления, элементы, выводимые из audioFeatureExtractor может не соответствовать конфигурации элементов по умолчанию, выводимой соответствующими отдельными экстракторами элементов.
Аудиомаркировщик | audioDataAugmenter | audioDatastore | Извлечь звуковые функции | vggishFeatures