Признание спикера отвечает на вопрос «Кто говорит?». Распознавание динамика обычно делится на две задачи: идентификация динамика и верификация динамика. При идентификации динамика динамик распознается путем сравнения их речи с закрытым набором шаблонов. При верификации динамика динамик распознается путем сравнения вероятности того, что речь принадлежит конкретному динамику, с заранее заданным порогом. Традиционные методы машинного обучения хорошо выполняют эти задачи в идеальных условиях. Для примеров идентификации динамика с помощью традиционных методов машинного обучения смотрите Идентификацию динамика с использованием тангажа и MFCC и Верификацию динамика с использованием i-векторов. Audio Toolbox™ предоставляет ivectorSystem, которая инкапсулирует возможность обучать i-векторную систему, регистрировать динамики или другие аудио метки, оценивать систему для порога принятия решения и идентифицировать или проверить динамики или другие аудио метки.

Диаризация динамика - это процесс разбиения аудиосигнала на сегменты в соответствии с тождествами динамика. В нем дается ответ на вопрос «кто говорил, когда» без предварительного знания ораторов и, в зависимости от заявки, без предварительного знания числа ораторов.

Обучает сеть распознавания разговорных цифр на слуховых спектрограммах вне памяти с помощью преобразованного datastore. В этом примере вы извлекаете слуховые спектрограммы из аудио с помощью audioDatastore и audioFeatureExtractor, и записываете их на диск. Затем вы используете signalDatastore для доступа к функциям во время обучения. Рабочий процесс полезен, когда функции обучения не помещаются в памяти. В этом рабочем процессе вы извлекаете функции только один раз, что ускоряет рабочий процесс, если вы итератируетесь по проекту модели глубокого обучения.

Обучает сеть распознавания разговорных цифр на аудио данных за пределами памяти с помощью преобразованного datastore. В этом примере вы применяете случайный тангаж сдвиг к аудио данных, используемым для обучения сверточной нейронной сети (CNN). Для каждой итерации обучения аудио данных дополняется с помощью объекта audioDataAugmenter, а затем функции извлекаются с помощью объекта audioFeatureExtractor. Рабочий процесс в этом примере применяется к любому случайному увеличению данных, используемому в цикле обучения. Рабочий процесс также применяется, когда базовый набор аудио данных или функции обучения не помещаются в памяти.

Обучите модель глубокого обучения, которая обнаруживает наличие речевых команд в аудио. Пример использует набор данных речевых команд [1], чтобы обучить сверточную нейронную сеть распознавать данный набор команд.

Обнаружение областей речи в среде низкий сигнал-шум с помощью глубокого обучения. Пример использует набор данных речевых команд, чтобы обучить двунаправленную сеть долгой краткосрочной памяти (BiLSTM) для обнаружения голосовой активности.

Классифицируйте пол диктора с помощью глубокого обучения. В примере используются сеть Gated Recurrent Модуля (GRU) и коэффициенты Гамматона Cepstral (gtcc), тангаж, гармоническое отношение и несколько спектральных дескрипторов формы.

Классифицируйте разговорные цифры с помощью как машинного, так и глубокого метода обучения. В примере вы выполняете классификацию, используя рассеяние вейвлета времени с помощью машины опорных векторов (SVM) и с помощью сети долгой краткосрочной памяти (LSTM). Вы также применяете байесовскую оптимизацию, чтобы определить подходящие гиперпараметры, чтобы улучшить точность сети LSTM. Кроме сложения, пример иллюстрирует подход, использующий глубокую сверточную нейронную сеть (CNN) и мел-частотные спектрограммы.

Классификация жанра музыкального отрывка с помощью вейвлет рассеяния и audio datastore. При вейвлет данные распространяются через ряд вейвлет, нелинейностей и усреднения, чтобы получить низкодисперсные представления данных. Эти представления с низкой дисперсией затем используются в качестве входов для классификатора.

Типичный рабочий процесс выбора признаков, примененный к задаче распознавания разговорных цифр.

Создайте мультимодельную систему позднего слияния для распознавания акустической сцены. Пример обучает сверточную нейронную сеть (CNN), используя mel spectrogram и ансамблевый классификатор, использующий вейвлет. Пример использует набор данных TUT для обучения и оценки [1].

Верификация типа «динамик» или аутентификация - это задача подтверждения того, что тождества динамика являются тем, кем они считаются. Верификация спикера была активной исследовательской областью на протяжении многих лет. Ранним прорывом в эффективности было использование смешанной гауссовской модели и универсальной фоновой модели (GMM-UBM) [1] на акустических функциях (обычно mfcc). Для получения примера смотрите Динамик Верификации Использование Смешанных гауссовских моделей. Одна из основных трудностей систем GMM-UBM заключается в межсессионной изменчивости. Совместный факторный анализ (JFA) был предложен, чтобы компенсировать эту изменчивость, отдельно моделируя переменность между динамиками и переменность канала или сеанса [2] [3]. Однако [4] обнаружил, что канальные факторы в JFA также содержат информацию о динамиках, и предложил объединить пространства канала и динамика в общее пространство переменности. Затем интерсессионную изменчивость компенсировали с помощью процедур бэкэнда, таких как линейный дискриминантный анализ (LDA) и ковариационная нормализация внутри класса (WCCN), с последующей оценкой, такой как счет подобия косинуса. [5] предложил заменить оценку подобия косинуса вероятностной моделью LDA (PLDA). [11] и [12] предложили способ Гауссианизации i-векторов и, следовательно, сделать Гауссовы предположения в PLDA, называемые G-PLDA или упрощенной PLDA. В то время как i-векторы были первоначально предложены для верификации диктора, они были применены ко многим проблемам, таким как распознавание языка, диаризация диктора, распознавание эмоций, оценка возраста и анти-спуфинг [10]. Недавно были предложены методы глубокого обучения, чтобы заменить i-векторы на d-векторы или x-векторы [8] [6].

Верификация динамика, или аутентификация, является задачей проверки того, что данный сегмент речи принадлежит данному динамику. В системах верификации дикторов существует неизвестный набор всех других дикторов, поэтому вероятность того, что высказывание принадлежит цели верификации, сравнивается с вероятностью того, что оно не делает. Это контрастирует с задачами идентификации диктора, где вычисляется вероятность каждого диктора, и эти вероятности сравниваются. И верификация динамика, и идентификация динамика могут быть зависящими от текста или независимыми от текста. В этом примере вы создаете зависящую от текста систему верификации динамика, используя Смешанную гауссовскую модель/универсальную фоновую модель (GMM-UBM).

Выполните отслеживание тангажа с помощью нескольких оценок тангажа, октавного и медианного сглаживания и скрытой модели Маркова (HMM).

Используйте блоки Levinson-Durbin и Time-Variing Lattice Filter для передачи речи с низкой пропускной способностью, используя линейное прогнозирующее кодирование.

Выполните распознавание речи с помощью пользовательского слоя глубокого обучения, который реализует mel-масштабную группу фильтров.