Audio Toolbox
Diseñe y analice sistemas de procesamiento de voz, acústicos y de audio
Audio Toolbox™ proporciona herramientas para el procesamiento de audio, el análisis de la voz y la medición acústica. Incluye algoritmos para el procesamiento de señales de audio (como la ecualización y el control del rango dinámico) y la medición acústica (como la estimación de la respuesta a impulso, el filtrado de octavas y la ponderación perceptiva). También proporciona algoritmos para la extracción de características de audio y voz (como MFCC y tono) y la transformación de señales de audio (como el banco de filtros gammatono y el espectrograma con espaciado de Mel).
Las apps de esta toolbox soportan las pruebas de algoritmos en tiempo real, la medición de la respuesta a impulso y el etiquetado de señales de audio. La toolbox proporciona interfaces de streaming para dispositivos MIDI y tarjetas de audio ASIO, WASAPI, ALSA y CoreAudio, así como herramientas para generar y alojar complementos de audio estándar como VST y Audio Units.
Con Audio Toolbox, podrá importar, etiquetar y aumentar conjuntos de datos de audio, además de extraer características y transformar señales para machine learning y deep learning. Es posible prototipar algoritmos de procesamiento de audio en tiempo real mediante el streaming de audio de baja latencia mientras se ajustan los parámetros y se visualizan las señales. También se puede validar el algoritmo mediante su conversión en un complemento de audio para ejecutarlo en aplicaciones de alojamiento externas como, por ejemplo, estaciones de trabajo de audio digital. El alojamiento de complementos permite utilizar complementos de audio externos como objetos normales para procesar arrays de MATLAB®. La conectividad para tarjetas de sonido permite ejecutar mediciones personalizadas en señales de audio y sistemas acústicos reales.
Cómo empezar:
- Streaming de audio con tarjetas de sonido
- Machine learning y deep learning
- Algoritmos y efectos de procesamiento de audio
- Prototipado de audio en tiempo real
- Mediciones acústicas y audio espacial
- Generación y alojamiento de complementos de audio
- Sistemas de audio en tiempo real y embebidos en plataformas
Conectividad con controladores de audio estándar
Lea y escriba muestras de audio en tarjetas de sonido (como USB o Thunderbolt™) mediante controladores de audio estándar (como ASIO, WASAPI, CoreAudio y ALSA) en sistemas operativos Windows®, Mac® y Linux®.
Tarjetas de sonido multicanal.
Streaming de audio multicanal de baja latencia
Procese audio en tiempo real en MATLAB con una latencia de ida y vuelta de milisegundos.
Entrada sin procesar en tiempo real de un array de micrófonos de cuatro canales.
Machine learning y deep learning
Etiquete, aumente, cree y procese conjuntos de datos de audio y voz, extraiga características y calcule transformaciones de tiempo-frecuencia. Desarrolle análisis de audio y voz con Statistics and Machine Learning Toolbox™, Deep Learning Toolbox™ u otras herramientas de machine learning.
Pre-Trained Deep Learning Models
Use popular deep learning models pre-trained with large audio datasets to carry out complex audio processing tasks – classify sound events in audio recordings with Yamnet and extract audio embeddings with VGGish.
Word cloud displaying the sound types identified by classifySound in a particular audio segment.
Extracción de características de audio y voz
Extraiga características de bajo nivel para análisis de voz y audio, incluidos los coeficientes cepstrales en las frecuencias de Mel (MFCC), los coeficientes cepstrales gammatono (GTCC), el tono, la armonicidad y los descriptores espectrales. Alimente arquitecturas de deep learning que trabajan con series temporales, como las basadas en capas LSTM.
Seleccione las opciones de almacenamiento en la memoria externa y las características de interés de forma interactiva mientras utiliza Audio Feature Extractor en Live Editor.
Transformaciones de tiempo-frecuencia
Transforme las señales en representaciones de tiempo-frecuencia mediante una transformada de coseno discreta modificada (MDCT), una transformada de Fourier de tiempo corto (STFT) o el espectrograma con espaciado de Mel, que es más compacto. Descomponga las señales mediante el uso de bandas de frecuencia con espaciado perceptivo que emplean bancos de filtros gammatono. Alimente modelos de deep learning que trabajan con datos bidimensionales, como los basados en capas de CNN.
Espectrograma de Mel en tiempo real de comandos de voz.
Etiquetado y anotación de conjuntos de datos de audio
Asigne etiquetas y anotaciones de validación (ground-truth) a grabaciones de audio y conjuntos de datos de forma manual y automática. Detecte regiones de voz en señales de audio. Automatice la transcripción de voz mediante servicios de conversión de voz a texto basados en la nube.
Etiquetas de región de interés en la app Audio Labeler.
Procesamiento de grandes conjuntos de datos de audio
Indexe y lea grandes colecciones de grabaciones de audio mediante audioDatastore. Divida de forma aleatoria listas de archivos de audio de acuerdo con las etiquetas. Paralelice las tareas de procesamiento mediante arrays altos para aumentar los datos, realizar transformaciones de tiempo-frecuencia y extraer características.
Almacén de datos dirigido al conjunto de datos de comandos de voz de Google.
Aumento y sintetización de conjuntos de datos de audio y voz
Configure canalizaciones aleatorias de aumento de datos utilizando combinaciones de cambios de tono, extensión de tiempo y otros efectos de procesamiento de audio. Cree grabaciones de voz sintética a partir de texto mediante servicios de conversión de texto a voz basados en la nube.
Estimación de formantes para el cambio de tono de timbre invariable.
Filtros y ecualizadores de audio
Modele y aplique filtros EQ paramétricos, EQ gráficos, de shelving y de pendiente variable. Diseñe y simule filtros de cruce digital, de octavas y de fracciones de octavas.
Ajuste interactivo de un filtro de cruce de tres bandas con visualización en tiempo real.
Efectos y control de rango dinámico
Modele y aplique algoritmos de procesamiento de rango dinámico para comprimir, limitar, expandir y usar una puerta de ruido. Agregue reverberación artificial con modelos paramétricos recursivos.
Ajuste interactivo de la respuesta dinámica de un compresor.
Simulación de sistemas con diagramas de bloques
Diseñe y simule modelos de sistemas mediante librerías de bloques de procesamiento de audio para Simulink®. Ajuste los parámetros y visualice el comportamiento del sistema mediante controles interactivos y gráficas dinámicas.
Detalle de un modelo de compresor de rango dinámico multibanda en Simulink.
Ajuste de parámetros en tiempo real mediante interfaces de usuario
Cree automáticamente interfaces de usuario para parámetros de algoritmos de procesamiento de audio que se pueden ajustar. Pruebe cada algoritmo con la app Audio Test Bench y ajuste los parámetros en los programas en ejecución con controles interactivos generados automáticamente.
Ajuste interactivo de un EQ paramétrico de tres bandas personalizado mediante Audio Test Bench.
Conectividad con MIDI para el control de parámetros y el intercambio de mensajes
Cambie de forma interactiva los parámetros de los algoritmos de MATLAB mediante superficies de control MIDI. Controle el hardware externo o responda a los eventos mediante el envío y la recepción de cualquier tipo de mensaje MIDI.
Mensaje MIDI y flujo de señales de audio escritos en MATLAB para un sintetizador de instrumentos musicales.
Medición y análisis basados en estándares
Aplique medidores de nivel de presión sonora (SPL) y medidores de volumen a señales grabadas o en tiempo real. Analice las señales con filtros de octavas y de fracciones de octavas. Aplique filtros de ponderación A, C o K conformes a estándares a grabaciones sin procesar.
Visualización de distintas medidas de SPL en bandas de tercio de octava.
Medición de la respuesta a impulso
Mida las respuestas a impulso y frecuencia de sistemas acústicos y de audio mediante secuencias de longitud máxima (MLS) y sinusoides de barrido exponencial (ESS). Comience a utilizar la app Impulse Response Measurer. Automatice las mediciones mediante la generación programática de señales de excitación y la estimación de las respuestas del sistema.
App Impulse Response Measurer.
Convolución eficiente con respuestas a impulsos de sala
Convolucione las señales con respuestas largas a impulsos de forma eficiente mediante implementaciones overlap-and-add u overlap-and-save en el dominio de frecuencia. Encuentre el equilibro entre latencia y velocidad de cálculo mediante el particionamiento automático de la respuesta a impulso.
Respuesta a impulso de 5 segundos o más con muestras de 220 k a 44.100 Hz.
Audio espacial
Codifique y decodifique distintos formatos ambisónicos. Interpole funciones de transferencia relacionadas con la cabeza (HRTF) con muestreo espacial.
Ejemplo de posición de la fuente de sonido deseada y ángulos más cercanos con mediciones HRTF disponibles.
Generación de complementos de audio
Genere complementos VST, complementos AU y complementos ejecutables independientes directamente a partir de código MATLAB sin necesidad de diseñar manualmente interfaces de usuario. Para el prototipado de complementos más avanzados, genere proyectos JUCE C++ listos para crear (requiere MATLAB Coder™).
Ejemplo de EQ paramétrico multibanda: complemento VST generado a partir de código de MATLAB que se ejecuta en REAPER.
Alojamiento de complementos de audio externos
Utilice complementos VST y AU externos como objetos normales de MATLAB. Cambie los parámetros de los complementos y procese arrays de MATLAB de forma programática. Si lo prefiere, automatice las asociaciones de parámetros de complementos con interfaces de usuario y controles MIDI. Aloje complementos generados a partir de código MATLAB para aumentar la eficiencia de ejecución.
Ejemplo de complemento VST externo para la eliminación de ruido en audio (Accusonus ERA-N) e interfaz programática en MATLAB.
Dispositivos móviles y de bajo coste
Prototipe diseños de procesamiento de audio en Raspberry Pi™ mediante interfaces de audio multicanal integrados o externos. Cree paneles de control interactivos como apps móviles para dispositivos Android® o iOS.
Placa Raspberry Pi 3.
Sistemas sin latencia
Prototipe diseños de procesamiento de audio con entradas y salidas de muestra única para el control de ruido adaptativo, la validación de audífonos u otras aplicaciones que requieren una latencia DSP de ida y vuelta mínima. Ejecute automáticamente los modelos de Simulink en máquinas de audio Speedgoat y placas ST de Discovery.
Mediciones estándar de la percepción del volumen y la nitidez
Mida el volumen percibido según ISO 532-1 o ISO 532-2 y la nitidez percibida según DIN 45692.
Segmentación de voz
Detecte los límites de las regiones de voz en las grabaciones de audio.
MFCC en GPU
Calcule y despliegue coeficientes cepstrales en las frecuencias de Mel en tarjetas GPU (requiere Parallel Computing Toolbox para la aceleración de MATLAB y GPU Coder para la generación de código CUDA).
Conversión de texto en voz a través de servicios en la nube
Cree muestras de voz sintética a partir de cadenas de texto (requiere una cuenta de servicios de terceros).
Nuevos bloques de fuentes de audio
Genere formas de onda periódicas en Simulink usando osciladores y síntesis de tablas de ondas.
Apps independientes a partir de los complementos de audio de MATLAB
Genere versiones ejecutables independientes de complementos de audio con conectividad de entrada y salida de audio.
Tarea en tiempo real para la extracción de características de audio
Configure las canalizaciones de extracción de características de forma interactiva con MATLAB Live Editor.
Consulte las notas de la versión para obtener detalles sobre estas funcionalidades y las funciones correspondientes.
