audioFeatureExtractor
Оптимизация аудио редукции данных
Описание
audioFeatureExtractor инкапсулирует несколько экстракторов звуковых функций в упрощенную и модульную реализацию.
Создание
Описание
aFE = audioFeatureExtractor()
aFE = audioFeatureExtractor(Name,Value)aFE использование одного или нескольких аргументов пары "имя-значение".
Свойства
Функции объекта
extract | Извлечение аудио функций |
setExtractorParams | Установите значения параметров nondefault для отдельных экстракторов функций |
info | Выходное отображение и параметры извлечения отдельных функций |
generateMATLABFunction | Создайте функцию MATLAB, совместимую с генерацией кода C/C + + |
Примеры
Извлечение нескольких аудио функций
Считывайте аудиосигнал.
[audioIn,fs] = audioread("Counting-16-44p1-mono-15secs.wav");Создайте audioFeatureExtractor объект для извлечения MFCC, дельта MFCC, дельта-дельта MFCC, тангажа и спектрального центроида аудиосигнала. Используйте окно анализа 30 мс с перекрытием 20 мс.
aFE = audioFeatureExtractor( ... "SampleRate",fs, ... "Window",hamming(round(0.03*fs),"periodic"), ... "OverlapLength",round(0.02*fs), ... "mfcc",true, ... "mfccDelta",true, ... "mfccDeltaDelta",true, ... "pitch",true, ... "spectralCentroid",true);
Функции extract для извлечения аудио функций из аудиосигнала.
features = extract(aFE,audioIn);
Использование info определить, какой столбец матрицы редукции данных соответствует запрошенному извлечению тангажа.
idx = info(aFE)
idx = struct with fields:
mfcc: [1 2 3 4 5 6 7 8 9 10 11 12 13]
mfccDelta: [14 15 16 17 18 19 20 21 22 23 24 25 26]
mfccDeltaDelta: [27 28 29 30 31 32 33 34 35 36 37 38 39]
spectralCentroid: 40
pitch: 41
Постройте график обнаруженного тангажа с течением времени.
t = linspace(0,size(audioIn,1)/fs,size(features,1)); plot(t,features(:,idx.pitch)) title('Pitch') xlabel('Time (s)') ylabel('Frequency (Hz)')
Извлечение функций из набора данных
Создайте audio datastore, который указывает на выборки, включенные в Audio Toolbox ®.
folder = fullfile(matlabroot,'toolbox','audio','samples'); ads = audioDatastore(folder);
Найдите все файлы, которые соответствуют частоте дискретизации 44,1 кГц, и затем subset datastore.
keepFile = cellfun(@(x)contains(x,'44p1'),ads.Files);
ads = subset(ads,keepFile);Преобразуйте данные в tall массив. tall массивы оцениваются только при явном запросе с помощью gather. MATLAB ® автоматически оптимизирует вычисления в очереди, минимизируя количество проходов через данные. Если у вас есть Parallel Computing Toolbox™, можно распределить вычисления по нескольким машинам. Аудио данных представлено как M-by-1 tall массиву ячеек, где M - количество файлов в audio datastore.
adsTall = tall(ads)
Starting parallel pool (parpool) using the 'local' profile ...
Connected to the parallel pool (number of workers: 6).
adsTall =
M×1 tall cell array
{ 539648×1 double}
{ 227497×1 double}
{ 8000×1 double}
{ 685056×1 double}
{ 882688×2 double}
{1115760×2 double}
{ 505200×2 double}
{3195904×2 double}
: :
: :
Создайте audioFeatureExtractor объект для извлечения спектра mel, спектра Bark, спектра ERB и линейного спектра из каждого аудио файла. Используйте окно анализа по умолчанию и длину перекрытия для извлечения спектра.
aFE = audioFeatureExtractor('SampleRate',44.1e3, ... 'melSpectrum',true, ... 'barkSpectrum',true, ... 'erbSpectrum',true, ... 'linearSpectrum',true);
Задайте cellfun функция так, чтобы аудио функции были извлечены из каждой камеры длинный массив. Функции gather для вычисления длинный массив.
specsTall = cellfun(@(x)extract(aFE,x),adsTall,"UniformOutput",false);
specs = gather(specsTall);Evaluating tall expression using the Parallel Pool 'local': - Pass 1 of 1: Completed in 12 sec Evaluation completed in 12 sec
The specs переменная, возвращенная из сбора, является numFiles-by-1 массивом ячеек, где numFiles - количество файлов в datastore. Каждый элемент массива ячеек является массивом numHops-by-numFeatures-by-numChannels, где количество скачков и количество каналов зависит от длины и количества каналов аудио файла, а количество функций является запрошенным количеством функций от аудио данных.
numFiles = numel(specs)
numFiles = 12
[numHops1,numFeaturesFile1,numChanelsFile1] = size(specs{1})numHops1 = 1053
numFeaturesFile1 = 620
numChanelsFile1 = 1
[numHops2,numFeaturesFile2,numChanelsFile2] = size(specs{2})numHops2 = 443
numFeaturesFile2 = 620
numChanelsFile2 = 1
Алгоритмы
The audioFeatureExtractor создает трубопровод редукции данных на основе выбранных функций. Чтобы уменьшить расчеты, audioFeatureExtractor повторно использует промежуточные представления. Некоторые промежуточные представления могут быть выведены как функции:
Для примера, чтобы создать объект, который извлекает центроид спектра Коры, поток спектра Барка, тангаж, гармоническое отношение и дельта-дельта MFCC, задайте audioFeatureExtractor как:
aFE = audioFeatureExtractor( ... "SpectralDescriptorInput","barkSpectrum", ... "spectralCentroid",true, ... "spectralFlux",true, ... "pitch",true, ... "harmonicRatio",true, ... "mfccDeltaDelta",true)
aFE =
audioFeatureExtractor with properties:
Properties
Window: [1024×1 double]
OverlapLength: 512
SampleRate: 44100
FFTLength: []
SpectralDescriptorInput: 'barkSpectrum'
Enabled Features
mfccDeltaDelta, spectralCentroid, spectralFlux, pitch, harmonicRatio
Disabled Features
linearSpectrum, melSpectrum, barkSpectrum, erbSpectrum, mfcc, mfccDelta
gtcc, gtccDelta, gtccDeltaDelta, spectralCrest, spectralDecrease, spectralEntropy
spectralFlatness, spectralKurtosis, spectralRolloffPoint, spectralSkewness, spectralSlope, spectralSpread
To extract a feature, set the corresponding property to true.
For example, obj.mfcc = true, adds mfcc to the list of enabled features.
Примечание
Потому что audioFeatureExtractor повторно использует промежуточные представления, функции вывода audioFeatureExtractor может не соответствовать строению функций по умолчанию, выводимой соответствующими отдельными экстракторами функций.
Вопросы совместимости
Расширенные возможности
См. также
Audio Labeler | audioDataAugmenter | audioDatastore | Извлечение аудио функций | vggishFeatures