Запуск с Audio Toolbox
Audio Toolbox™ предоставляет инструменты для обработки звука, анализа речи и акустического измерения. Он включает алгоритмы обработки аудиосигналов, таких как эквализация и растяжение во времени, оценки метрик акустического сигнала, таких как громкость и резкость, и извлечения аудио функций, таких как MFCC и тангаж. Он также предоставляет расширенные модели машинного обучения, включая i-векторы, и предварительно обученные нейронные сети для глубокого обучения, включая VGGish и CREPE. Приложения Toolbox поддерживают проверку живых алгоритмов, измерение импульсной характеристики и маркировку сигналов. Тулбокс обеспечивает потоковые интерфейсы к ASIO™, CoreAudio и другим звуковым картам; Устройства MIDI; и инструменты для генерации и размещения плагинов VST и Audio Units.
С помощью Audio Toolbox вы можете импортировать, маркировать и дополнять наборы аудио данных, а также извлекать функции для обучения моделей машинного обучения и глубокого обучения. Предварительно обученные модели могут быть применены к аудиозаписям для семантического анализа высокого уровня.
Можно прототипировать алгоритмы обработки аудио в режиме реального времени или запустить пользовательские акустические измерения путем потоковой передачи звука с низкой задержкой на и с звуковых карт. Можно подтвердить алгоритм, превратив его в аудиоплагин для запуска в внешних хост-приложениях, таких как Digital Audio Workstations. Plugin hosting позволяет использовать внешние аудиоплагины как обычные MATLAB® объекты.
Руководства
- Аудио Входа и аудио Выхода
Чтение аудио из файла и запись аудио в динамики.
- Обработка и анализ передачи потокового аудио
Создайте аудио испытательного стенда и примените обработку в реальном времени.
- Аудио в реальном времени в Simulink
Создайте модель с помощью Simulink® шаблоны и блоки для обработки звука.
- Классификация звука с помощью глубокого обучения
Обучите, проверьте и протестируйте простую долгую краткосрочную память (LSTM) для классификации звуков.
- Передача обучения с предварительно обученными аудиосетями
Используйте передачу обучения для переобучения YAMNet, предварительно обученной сверточной нейронной сети (CNN), чтобы классифицировать новый набор аудиосигналов.
- Проектирование аудиоплагина
Создайте простой аудиоплагин в MATLAB и затем используйте его, чтобы сгенерировать плагин VST.
О Audio Plugins
- Что такое DAW, аудиоплагины и контроллеры?
Узнайте о роли цифровых аудио рабочих станций (DAW), аудиоплагинов и контроллеров MIDI в разработке алгоритмов обработки аудио.
О глубоком обучении и машинном обучении для аудио
- Введение в глубокое обучение для аудио приложений
Изучение общих инструментов и рабочих процессов для применения глубокого обучения к аудио приложениям.
Рекомендуемые примеры
Видео
Что такое Audio Toolbox?
Проект и тестирование систем обработки аудио с помощью Audio Toolbox.
Введение в глубокое обучение для аудио- и речевых приложений
Создавайте или принимайте наборы данных, извлекайте функции и разрабатывайте аудио- и речевую аналитику с помощью Statistics and Machine Learning Toolbox, Deep Learning Toolbox или других инструментов машинного обучения.