openl3

OpenL3 нейронную сеть

Свернуть все на странице

    Синтаксис

    net = openl3
    net = openl3(Name,Value)

    Описание

    пример

    net = openl3 возвращает предварительно обученную модель OpenL3.

    Эта функция требует как Audio Toolbox™, так и Deep Learning Toolbox™.

    net = openl3(Name,Value) задает опции, используя один или несколько аргументов «» имя, значение «». Для примера, net = openl3('EmbeddingLength',6144) задает выходную длину вложения 6144.

    Примеры

    свернуть все

    Этот пример использует:

    Открыть Live Script

    Загрузите и разархивируйте модель Audio Toolbox™ для OpenL3.

    Тип openl3 в Командном окне. Если модель Audio Toolbox для OpenL3 не установлена, функция предоставляет ссылку на расположение весов сети. Чтобы скачать модель, щелкните ссылку. Разархивируйте файл в местоположении по пути MATLAB.

    Также выполните эти команды, чтобы загрузить и разархивировать модель OpenL3 в свою временную директорию.

    downloadFolder = fullfile(tempdir,'OpenL3Download');
loc = websave(downloadFolder,'https://ssd.mathworks.com/supportfiles/audio/openl3.zip');
OpenL3Location = tempdir;
unzip(loc,OpenL3Location)
addpath(fullfile(OpenL3Location,'openl3'))

    Проверьте успешность установки путем ввода openl3 в Командном окне. Если сеть установлена, то функция возвращает DAGNetwork (Deep Learning Toolbox) объект.

    openl3
    ans = 
  DAGNetwork with properties:

         Layers: [30×1 nnet.cnn.layer.Layer]
    Connections: [29×2 table]
     InputNames: {'in'}
    OutputNames: {'out'}

    Этот пример использует:

    Открыть Live Script

    Загрузите предварительно обученную OpenL3 сверточную нейронную сеть и исследуйте слои и классы.

    Использование openl3 для загрузки предварительно обученной OpenL3 сети. Область выхода net является DAGNetwork (Deep Learning Toolbox) объект.

    net = openl3
    net = 
  DAGNetwork with properties:

         Layers: [30×1 nnet.cnn.layer.Layer]
    Connections: [29×2 table]
     InputNames: {'in'}
    OutputNames: {'out'}

    Просмотрите сетевую архитектуру с помощью Layers свойство. Сеть имеет 30 слоев. Существует 16 слоев с усвояемыми весами, из которых восемь являются нормализациями партии . и восемь являются сверточными слоями. 

    net.Layers
    ans = 
  30×1 Layer array with layers:

     1   'in'                       Image Input           128×199×1 images
     2   'batch_normalization_81'   Batch Normalization   Batch normalization with 1 channels
     3   'conv2d_71'                Convolution           64 3×3×1 convolutions with stride [1  1] and padding 'same'
     4   'batch_normalization_82'   Batch Normalization   Batch normalization with 64 channels
     5   'activation_71'            ReLU                  ReLU
     6   'conv2d_72'                Convolution           64 3×3×64 convolutions with stride [1  1] and padding 'same'
     7   'batch_normalization_83'   Batch Normalization   Batch normalization with 64 channels
     8   'activation_72'            ReLU                  ReLU
     9   'max_pooling2d_41'         Max Pooling           2×2 max pooling with stride [2  2] and padding [0  0  0  0]
    10   'conv2d_73'                Convolution           128 3×3×64 convolutions with stride [1  1] and padding 'same'
    11   'batch_normalization_84'   Batch Normalization   Batch normalization with 128 channels
    12   'activation_73'            ReLU                  ReLU
    13   'conv2d_74'                Convolution           128 3×3×128 convolutions with stride [1  1] and padding 'same'
    14   'batch_normalization_85'   Batch Normalization   Batch normalization with 128 channels
    15   'activation_74'            ReLU                  ReLU
    16   'max_pooling2d_42'         Max Pooling           2×2 max pooling with stride [2  2] and padding [0  0  0  0]
    17   'conv2d_75'                Convolution           256 3×3×128 convolutions with stride [1  1] and padding 'same'
    18   'batch_normalization_86'   Batch Normalization   Batch normalization with 256 channels
    19   'activation_75'            ReLU                  ReLU
    20   'conv2d_76'                Convolution           256 3×3×256 convolutions with stride [1  1] and padding 'same'
    21   'batch_normalization_87'   Batch Normalization   Batch normalization with 256 channels
    22   'activation_76'            ReLU                  ReLU
    23   'max_pooling2d_43'         Max Pooling           2×2 max pooling with stride [2  2] and padding [0  0  0  0]
    24   'conv2d_77'                Convolution           512 3×3×256 convolutions with stride [1  1] and padding 'same'
    25   'batch_normalization_88'   Batch Normalization   Batch normalization with 512 channels
    26   'activation_77'            ReLU                  ReLU
    27   'audio_embedding_layer'    Convolution           512 3×3×512 convolutions with stride [1  1] and padding 'same'
    28   'max_pooling2d_44'         Max Pooling           16×24 max pooling with stride [16  24] and padding 'same'
    29   'flatten'                  Keras Flatten         Flatten activations into 1-D assuming C-style (row-major) order
    30   'out'                      Regression Output     mean-squared-error

    Использование analyzeNetwork (Deep Learning Toolbox), чтобы визуально исследовать сеть.

    analyzeNetwork(net)

    Открыть Live Script

    Использование openl3Preprocess для извлечения встраиваний из аудиосигнала.

    Считывайте аудиосигнал.

    [audioIn,fs] = audioread('Counting-16-44p1-mono-15secs.wav');

    Чтобы извлечь спектрограммы из аудио, вызовите openl3Preprocess функция со скоростью звука и дискретизации. Используйте 50% перекрытия и установите тип спектра линейным. The openl3Preprocess функция возвращает массив из 30 спектрограмм, полученных с использованием длины БПФ 512.

    features = openl3Preprocess(audioIn,fs,'OverlapPercentage',50,'SpectrumType','linear');
[posFFTbinsOvLap50,numHopsOvLap50,~,numSpectOvLap50] = size(features)
    posFFTbinsOvLap50 = 257

    numHopsOvLap50 = 197

    numSpectOvLap50 = 30

    Функции openl3Preprocess снова на этот раз с использованием перекрытия по умолчанию 90%. The openl3Preprocess теперь функция возвращает массив из 146 спектрограмм.

    features = openl3Preprocess(audioIn,fs,'SpectrumType','linear');
[posFFTbinsOvLap90,numHopsOvLap90,~,numSpectOvLap90] = size(features)
    posFFTbinsOvLap90 = 257

    numHopsOvLap90 = 197

    numSpectOvLap90 = 146

    Визуализируйте одну из спектрограмм случайным образом.

    randSpect = randi(numSpectOvLap90);
viewRandSpect = features(:,:,:,randSpect);
N = size(viewRandSpect,2); 
binsToHz = (0:N-1)*fs/N;
nyquistBin = round(N/2);
semilogx(binsToHz(1:nyquistBin),mag2db(abs(viewRandSpect(1:nyquistBin))))
xlabel('Frequency (Hz)')
ylabel('Power (dB)');
title([num2str(randSpect),'th Spectrogram'])
axis tight
grid on

    Создайте OpenL3 сеть (для этого требуется Deep Learning Toolbox), используя ту же 'SpectrumType'.

    net = openl3('SpectrumType','linear');

    Извлеките и визуализируйте audio embeddings.

    embeddings = predict(net,features);
surf(embeddings,'EdgeColor','none')
view([90,-90])
axis([1 numSpectOvLap90 1 numSpectOvLap90])
xlabel('Embedding Length')
ylabel('Spectrum Number')
title('OpenL3 Feature Embeddings')
axis tight

    Входные параметры

    свернуть все

    Аргументы в виде пар имя-значение

    Задайте необязательные разделенные разделенными запятой парами Name,Value аргументы. Name - имя аргумента и Value - соответствующее значение. Name должны находиться внутри кавычек. Можно задать несколько аргументов в виде пар имен и значений в любом порядке Name1,Value1,...,NameN,ValueN.

    Пример: openl3('EmbeddingLength',6144)

    Тип спектра, сгенерированный из аудио и используемый как вход в нейронную сеть, заданный как 'mel128', 'mel256', или 'linear'.

    При использовании 'SpectrumType' и:

    • 'mel128' - Сеть принимает спектрограммы mel с 128 полос mel в качестве входных данных. Входные размерности для сети 128-by- 199-by- 1-by - K, где 128 Количество mel- полос и 199 - количество временных переходов.

    • 'mel256' - Сеть принимает спектрограммы mel с 256 мел полосами в качестве входных данных. Входные размерности для сети 256-by- 199-by- 1-by - K, где 256 Количество mel- полос и 199 - количество временных переходов.

    • 'linear' - Сеть принимает положительные односторонние спектрограммы с длиной БПФ 257. Входные размерности для сети 257-by- 197-by- 1-by - K, где 257 - положительная односторонняя длина и 197 БПФ - количество временных переходов.

    K представляет количество спектрограмм. При предварительной обработке данных с openl3Preprocess, вы должны использовать то же 'SpectrumType'.

    Типы данных: char | string

    Длина выхода audio embedding, заданная как 512 или 6144.

    Типы данных: single | double

    Аудио содержимого тип обученной нейронной сети, заданный как 'env' или 'music'.

    Задайте ContentType кому:

    • 'env' когда вы хотите использовать модель, обученную экологическим данным.

    • 'music' когда вы хотите использовать модель, обученную на музыкальных данных.

    Типы данных: char | string

    Выходные аргументы

    свернуть все

    Предварительно обученная OpenL3 нейронная сеть, возвращенная как DAGNetwork (Deep Learning Toolbox) объект.

    Ссылки

    [1] Cramer, Jason, et al. Look, Listen, and Learn More: Design Choices for Deep Audio Embeddings (неопр.) (недоступная ссылка). В ICASSP 2019 IEEE International Conference on Aoustics, Speech and Signal Processing (ICASSP), IEEE, 2019, pp. 3852-56. DOI.org (Crossref), doi:/10.1109/ICASSP.2019.8682475.

    См. также

    | | | | |

    Введенный в R2021a

    Документация Audio Toolbox

    Поддержка

    Для просмотра документации необходимо авторизоваться на сайте