Признание спикера отвечает на вопрос «Кто говорит?». Распознавание говорящих обычно делится на две задачи: идентификация говорящих и верификация говорящих. При идентификации говорящего распознается говорящий путем сравнения его речи с закрытым набором шаблонов. При проверке говорящего распознается говорящий путем сравнения вероятности того, что речь принадлежит конкретному говорящему, с заранее определенным порогом. Традиционные методы машинного обучения хорошо выполняют эти задачи в идеальных условиях. Примеры идентификации говорящих с использованием традиционных методов машинного обучения см. в разделах Идентификация говорящих с использованием основного тона и Проверка говорящих с использованием i-векторов. Audio Toolbox™ обеспечивает систему ivsector, которая включает в себя способность обучать систему i-vector, регистрировать динамики или другие звуковые метки, оценивать систему для порога принятия решения, а также идентифицировать или проверять динамики или другие звуковые метки.

Диаризация громкоговорителя - это процесс разделения аудиосигнала на сегменты в соответствии с идентичностью громкоговорителя. Он отвечает на вопрос «кто говорил, когда» без предварительного знания говорящих и, в зависимости от применения, без предварительного знания количества говорящих.

Обучает сеть распознавания речевых цифр по аудиоданным, не находящимся в памяти, с использованием преобразованного хранилища данных. В этом примере применяется случайный сдвиг основного тона к аудиоданным, используемым для обучения сверточной нейронной сети (CNN). Для каждой итерации обучения аудиоданные дополняются с помощью объекта audioDataAugmenter, а затем элементы извлекаются с помощью объекта audioFeatureExtractor. Рабочий процесс в этом примере применяется к любому случайному увеличению данных, используемому в учебном цикле. Рабочий процесс также применяется, когда базовый набор аудиоданных или обучающие функции не помещаются в память.

Обучение сети распознавания речевых цифр на слуховых спектрограммах, не имеющих памяти, с использованием преобразованного хранилища данных. В этом примере слуховые спектрограммы извлекаются из звука с помощью audioDatastore и audioFeatureExtractor и записываются на диск. Затем вы используете signalDatastore для доступа к функциям во время обучения. Рабочий процесс полезен, когда обучающие функции не помещаются в память. В этом рабочем процессе элементы извлекаются только один раз, что ускоряет рабочий процесс, если выполняется итерация в проекте модели глубокого обучения.

Демонстрирует создание кода для определения ключевых слов с использованием двунаправленной долговременной памяти (BiLSTM) и извлечения функции частотного кепстрального коэффициента (MFCC). MATLAB ® Coder™ с поддержкой глубокого обучения позволяет создавать автономные исполняемые файлы (.exe). Связь между файлом MATLAB ® (.mlx) и созданным исполняемым файлом осуществляется по асинхронному протоколу пользовательских дейтаграмм (UDP). Входящий речевой сигнал отображается с использованием временной шкалы. Маска отображается синим прямоугольником вокруг пятнистых экземпляров ключевого слова YES. Для получения более подробной информации об извлечении функций MFCC и обучении работе с сетью глубокого обучения посетите раздел Ключевые слова - определение шума с использованием сетей MFCC и LSTM.

Демонстрирует создание кода для определения ключевых слов с использованием двунаправленной долговременной памяти (BiLSTM) и извлечения функции частотного кепстрального коэффициента (MFCC) на Raspberry Pi™. MATLAB ® Coder™ с поддержкой глубокого обучения позволяет создавать автономные исполняемые файлы на Raspberry Pi. Обмен данными между файлом MATLAB ® (.mlx) и созданным исполняемым файлом осуществляется по асинхронному протоколу пользовательских дейтаграмм (UDP). Входящий речевой сигнал отображается с использованием временной шкалы. Маска отображается синим прямоугольником вокруг пятнистых экземпляров ключевого слова YES. Для получения более подробной информации об извлечении функций MFCC и обучении работе с сетью глубокого обучения посетите раздел Ключевые слова - определение шума с использованием сетей MFCC и LSTM.

Обучение модели глубокого обучения, которая обнаруживает наличие речевых команд в звуке. В примере используется набор данных речевых команд [1] для обучения сверточной нейронной сети распознаванию заданного набора команд.

Развертывание извлечения функций и сверточной нейронной сети (CNN) для распознавания речевых команд на процессорах Intel ®. Для создания извлечения функций и сетевого кода используется кодер MATLAB и библиотека Intel Math Kernel Library for Deep Neural Networks (MKL-DNN). В этом примере генерируемый код является исполняемой функцией MATLAB (MEX), которая вызывается сценарием MATLAB, который отображает предсказанную речевую команду вместе с сигналом временной области и слуховой спектрограммой. Дополнительные сведения о предварительной обработке звука и обучении работе с сетью см. в разделе Распознавание речевых команд с помощью глубокого обучения.

Развернуть извлечение функций и сверточную нейронную сеть (CNN) для распознавания речевых команд в Raspberry Pi™. Для создания извлечения функций и сетевого кода используется кодер MATLAB, пакет поддержки MATLAB для оборудования Raspberry Pi и вычислительная библиотека ARM ®. В этом примере сгенерированный код является исполняемым на Raspberry Pi, который вызывается сценарием MATLAB, отображающим предсказанную речевую команду вместе с сигналом и слуховой спектрограммой. Взаимодействие между сценарием MATLAB и исполняемым файлом Raspberry Pi обрабатывается с помощью протокола пользовательских дейтаграмм (UDP). Дополнительные сведения о предварительной обработке звука и обучении работе с сетью см. в разделе Распознавание речевых команд с помощью глубокого обучения.

Выделение речевого сигнала с помощью сети глубокого обучения.

Определение ключевого слова в шумной речи с помощью сети глубокого обучения. В частности, в примере используется сеть двунаправленной долговременной памяти (BiLSTM) и кепстральные коэффициенты частоты (MFCC).

Denoise речевые сигналы с использованием сетей глубокого обучения. В примере сравниваются два типа сетей, применяемых к одной задаче: полностью связанные и сверточные.

Обучение и использование генеративной состязательной сети (GAN) для генерации звуков.

Обнаружение областей речи в среде с низким уровнем сигнала к шуму с помощью глубокого обучения. В примере используется набор данных речевых команд для обучения сети двунаправленной долговременной памяти (BiLSTM) обнаружению активности речи.

Классифицируйте пол говорящего с помощью глубокого обучения. В этом примере используется сеть Gated Receivative Unit (GRU) и кэпстральные коэффициенты гамматона (gtcc), тон, отношение гармоник и несколько дескрипторов спектральной формы.

Классифицируйте произносимые цифры с помощью машинных и глубоких методов обучения. В этом примере классификация выполняется с использованием вейвлет-временного рассеяния с помощью вспомогательной векторной машины (SVM) и сети с длительной кратковременной памятью (LSTM). Также применяется байесовская оптимизация для определения подходящих гиперпараметров для повышения точности сети LSTM. Кроме того, пример иллюстрирует подход с использованием глубокой сверточной нейронной сети (CNN) и мел-частотных спектрограмм.

Типичный рабочий процесс для выбора элементов, применяемый к задаче распознавания речевых цифр.

Иллюстрирует простую систему распознавания речевых эмоций (SER) с использованием BiLSTM-сети. Сначала необходимо загрузить набор данных, а затем протестировать обученную сеть на отдельных файлах. Сеть обучалась по небольшой немецкоязычной базе данных [1].

Создание многомодельной системы позднего фьюжна для распознавания акустических сцен. Пример обучает сверточную нейронную сеть (CNN) с использованием спектрограмм mel и ансамблевого классификатора с использованием вейвлет-рассеяния. В примере используется набор данных TUT для обучения и оценки [1].