Признание спикера отвечает на вопрос «Кто говорит?». Распознавание говорящих обычно делится на две задачи: идентификация говорящих и верификация говорящих. При идентификации говорящего распознается говорящий путем сравнения его речи с закрытым набором шаблонов. При проверке говорящего распознается говорящий путем сравнения вероятности того, что речь принадлежит конкретному говорящему, с заранее определенным порогом. Традиционные методы машинного обучения хорошо выполняют эти задачи в идеальных условиях. Примеры идентификации говорящих с использованием традиционных методов машинного обучения см. в разделах Идентификация говорящих с использованием основного тона и Проверка говорящих с использованием i-векторов. Audio Toolbox™ обеспечивает систему ivsector, которая включает в себя способность обучать систему i-vector, регистрировать динамики или другие звуковые метки, оценивать систему для порога принятия решения, а также идентифицировать или проверять динамики или другие звуковые метки.

Диаризация громкоговорителя - это процесс разделения аудиосигнала на сегменты в соответствии с идентичностью громкоговорителя. Он отвечает на вопрос «кто говорил, когда» без предварительного знания говорящих и, в зависимости от применения, без предварительного знания количества говорящих.

Обучение сети распознавания речевых цифр на слуховых спектрограммах, не имеющих памяти, с использованием преобразованного хранилища данных. В этом примере слуховые спектрограммы извлекаются из звука с помощью audioDatastore и audioFeatureExtractor и записываются на диск. Затем вы используете signalDatastore для доступа к функциям во время обучения. Рабочий процесс полезен, когда обучающие функции не помещаются в память. В этом рабочем процессе элементы извлекаются только один раз, что ускоряет рабочий процесс, если выполняется итерация в проекте модели глубокого обучения.

Обучает сеть распознавания речевых цифр по аудиоданным, не находящимся в памяти, с использованием преобразованного хранилища данных. В этом примере применяется случайный сдвиг основного тона к аудиоданным, используемым для обучения сверточной нейронной сети (CNN). Для каждой итерации обучения аудиоданные дополняются с помощью объекта audioDataAugmenter, а затем элементы извлекаются с помощью объекта audioFeatureExtractor. Рабочий процесс в этом примере применяется к любому случайному увеличению данных, используемому в учебном цикле. Рабочий процесс также применяется, когда базовый набор аудиоданных или обучающие функции не помещаются в память.

Обучение модели глубокого обучения, которая обнаруживает наличие речевых команд в звуке. В примере используется набор данных речевых команд [1] для обучения сверточной нейронной сети распознаванию заданного набора команд.

Обнаружение областей речи в среде с низким уровнем сигнала к шуму с помощью глубокого обучения. В примере используется набор данных речевых команд для обучения сети двунаправленной долговременной памяти (BiLSTM) обнаружению речевой активности.

Классифицируйте пол говорящего с помощью глубокого обучения. В этом примере используется сеть Gated Receivative Unit (GRU) и кэпстральные коэффициенты гамматона (gtcc), тон, отношение гармоник и несколько дескрипторов спектральной формы.

Классифицируйте произносимые цифры с помощью машинных и глубоких методов обучения. В этом примере классификация выполняется с использованием вейвлет-временного рассеяния с помощью вспомогательной векторной машины (SVM) и сети с длительной кратковременной памятью (LSTM). Также применяется байесовская оптимизация для определения подходящих гиперпараметров для повышения точности сети LSTM. Кроме того, пример иллюстрирует подход с использованием глубокой сверточной нейронной сети (CNN) и мел-частотных спектрограмм.

Классифицируйте жанр музыкального отрывка с помощью вейвлет-временного рассеяния и хранилища аудиоданных. При вейвлет-рассеянии данные распространяются посредством серии вейвлет-преобразований, нелинейностей и усреднения для получения представлений данных с низкой дисперсией. Эти представления с низкой дисперсией затем используются в качестве входных данных для классификатора.

Типичный рабочий процесс для выбора элементов, применяемый к задаче распознавания речевых цифр.

Создание многомодельной системы позднего фьюжна для распознавания акустических сцен. Пример обучает сверточную нейронную сеть (CNN) с использованием спектрограмм mel и ансамблевого классификатора с использованием вейвлет-рассеяния. В примере используется набор данных TUT для обучения и оценки [1].

Верификация говорящего, или аутентификация, является задачей подтверждения того, что личность говорящего - это то, кем он должен быть. Проверка спикера является активной исследовательской областью на протяжении многих лет. Ранний прорыв в производительности заключался в использовании модели гауссовой смеси и универсальной фоновой модели (GMM-UBM) [1] на акустических характеристиках (обычно mfcc). Пример см. в разделе Проверка динамики с использованием гауссовых моделей смесей. Одна из основных трудностей систем GMM-UBM связана с интерцессной изменчивостью. Совместный факторный анализ (JFA) был предложен для компенсации этой изменчивости путем отдельного моделирования межговорящей изменчивости и изменчивости канала или сеанса [2] [3]. Однако [4] обнаружил, что канальные факторы в JFA также содержат информацию о динамиках, и предложил объединить канальное пространство и пространство динамиков в пространство полной изменчивости. Затем интерцессная изменчивость компенсировалась с использованием бэкэнд-процедур, таких как линейный дискриминантный анализ (LDA) и ковариационная нормализация внутри класса (WCCN), с последующей оценкой, такой как оценка косинусного сходства. [5] предложено заменить оценку косинусного сходства вероятностной моделью LDA (PLDA). [11] и [12] предложили способ гауссанизации i-векторов и, следовательно, сделать Gaussian допущения в PLDA, называемый G-PLDA или упрощенный PLDA. Хотя i-векторы изначально предлагались для проверки говорящих, они применялись ко многим проблемам, таким как распознавание языка, диаризация говорящих, распознавание эмоций, оценка возраста и антиспуфинг [10]. Недавно были предложены методы глубокого обучения для замены i-векторов d-векторами или x-векторами [8] [6].

Верификация говорящего, или аутентификация, является задачей проверки принадлежности данного речевого сегмента данному говорящему. В системах верификации говорящих существует неизвестный набор всех других говорящих, поэтому вероятность того, что говорящее принадлежит цели верификации, сравнивается с вероятностью того, что оно это делает. Это контрастирует с задачами идентификации говорящих, где вычисляется вероятность каждого говорящего, и эти вероятности сравниваются. И проверка говорящего, и идентификация говорящего могут быть зависимыми от текста или независимыми от текста. В этом примере создается зависящая от текста система проверки говорящего с использованием модели гауссова смешения/универсальной фоновой модели (GMM-UBM).

Выполнение отслеживания шага с использованием нескольких оценок шага, октавного и медианного сглаживания и скрытой модели Маркова (HMM).

Используйте блоки Levinson-Durbin и Time-Variing Lattice Filter для передачи речи с низкой полосой пропускания с использованием линейного кодирования с предсказанием.

Выполните распознавание речи с помощью пользовательского уровня глубокого обучения, который реализует банк фильтров mel-scale.