Audio Toolbox

 

Audio Toolbox

Diseñe y analice sistemas de procesamiento de acústica, audio y voz

Más información:

Adquisición y reproducción de streaming con interfaces de audio

Conécte a tarjetas de sonido de portátiles y equipos de escritorio estándar para realizar streaming de audio multicanal de baja latencia entre cualquier combinación de archivos y entradas/salidas en tiempo real.

Conectividad con controladores de audio estándar

Lea y escriba muestras de audio en tarjetas de sonido (tales como USB o Thunderbolt™) mediante controladores de audio estándar (tales como ASIO, WASAPI, CoreAudio y ALSA) en sistemas operativos Windows®, Mac® y Linux®.

Ejemplos de tarjetas de sonido multicanal.

Entrada en vivo sin procesar de un array de micrófonos de cuatro canales.

Machine Learning y Deep Learning

Etiquete, aumente, cree y procese conjuntos de datos de audio y voz; extraiga características y calcule transformaciones de tiempo-frecuencia. Desarrolle análisis de audio y voz con Statistics and Machine Learning Toolbox, Deep Learning Toolbox u otras herramientas de Machine Learning.

Modelos de Deep Learning previamente entrenados

Utilice Deep Learning para realizar tareas complejas de procesamiento de señales y extraer audio embebido con una sola línea de código. Acceda a redes previamente entrenadas ya asentadas, como YAMNet, VGGish, CREPE y OpenL3, y aplíquelas con la ayuda de funciones de extracción de características preconfiguradas.

Nube de palabras que muestra los tipos de sonido identificados por classifySound en un segmento de audio concreto.

Extracción de características de acústica, audio y voz

Transforme las señales en representaciones de tiempo-frecuencia como los espectrogramas de Mel, Bark y ERB. Calcule coeficientes cepstrales como MFCC y GTCC, y características escalares como el tono, la armonicidad y los descriptores espectrales. Extraiga características de alto nivel y señales embebidas con modelos de Deep Learning previamente entrenados (VGGish, OpenL3) y el sistema de vectores i. Acelere la extracción de características con tarjetas GPU compatibles.

Espectrograma de Mel en tiempo real de comandos de voz.

Modelos y entrenamiento de Machine Learning

Entrene Machine Learning de última generación con conjuntos de datos de audio. Utilice sistemas de modelos ya asentados, como los vectores i, para aplicaciones de identificación y verificación de hablantes. A partir de ejemplos reales, aprenda a diseñar y entrenar redes y capas neuronales avanzadas para aplicaciones de acústica, audio y voz.

Forma de onda de una grabación de voz con segmentos intercalados emitidos por diferentes hablantes y colores que indican quién está hablando en cada región de voz detectada.

Resultados de diarización obtenidos con vectores x de una señal de voz que incluye cinco hablantes diferentes.

Importación, anotación y preprocesamiento de conjuntos de datos de audio

Lea, particione y preprocese grandes conjuntos de grabaciones de audio. Anote señales de audio manualmente con apps. Identifique y segmente las regiones de interés automáticamente con modelos de Machine Learning previamente entrenados.

Etiquetas de región de interés en Audio Labeler.

Etiquetas de región de interés en Audio Labeler.

Aumento y sintetización de conjuntos de datos de audio y voz

Configure canalizaciones aleatorias de aumento de datos utilizando combinaciones de cambios de tono, extensión de tiempo y otros efectos de procesamiento de audio. Cree grabaciones de voz sintética a partir de texto con servicios de conversión de texto a voz basados en la nube.

Estimación de formantes para el cambio de tono de timbre invariable.

Algoritmos y efectos de procesamiento de audio

Genere formas de onda estándar, aplique efectos de audio habituales y diseñe sistemas de procesamiento de audio con visualización en tiempo real y ajuste dinámico de parámetros.

Filtros y ecualizadores de audio

Modele y aplique filtros EQ paramétricos, EQ gráficos, de shelving y de pendiente variable. Diseñe y simule filtros de cruce digital, de octavas y de fracciones de octava.

Ajuste interactivo de un filtro de cruce de tres bandas con visualización en tiempo real.

Efectos y control de rango dinámico

Modele y aplique algoritmos de procesamiento de rango dinámico para comprimir, limitar, expandir y usar una puerta de ruido. Agregue reverberación artificial con modelos paramétricos recursivos.

Ajuste interactivo de la respuesta dinámica de un compresor.

Simulación de sistemas con diagramas de bloques

Diseñe y simule modelos de sistemas mediante librerías de bloques de procesamiento de audio para Simulink. Ajuste los parámetros y visualice el comportamiento del sistema mediante controles interactivos y gráficas dinámicas.

Visualización compuesta de un modelo de Simulink, con bloques y subsistemas en diferentes niveles de la jerarquía del modelo, una gráfica de la respuesta de un filtro y una interfaz de usuario con discos interactivos para ajustar los valores de los parámetros.

Detalle de un modelo de compresor de rango dinámico multibanda en Simulink.

Prototipado de audio en tiempo real

Valide los algoritmos de procesamiento de audio con pruebas interactivas de escucha en tiempo real en MATLAB.

Ajuste de parámetros en tiempo real con interfaces de usuario

Cree automáticamente interfaces de usuario para parámetros de algoritmos de procesamiento de audio que se pueden ajustar. Pruebe cada algoritmo con la app Audio Test Bench y ajuste los parámetros en los programas en ejecución con controles interactivos generados automáticamente.

Ajuste interactivo de un EQ paramétrico de tres bandas personalizado con Audio Test Bench.

Conectividad con MIDI para controlar parámetros e intercambiar mensajes

Cambie los parámetros de los algoritmos de MATLAB de forma interactiva con superficies de control MIDI. Controle el hardware externo o responda a eventos mediante el envío y recepción de mensajes MIDI.

Diagrama de bloques que muestra un controlador MIDI de teclado que envía mensajes MIDI a una sesión de MATLAB, que a su vez procesa los mensajes, sintetiza las formas de onda de las notas y reproduce las muestras generadas a través de un altavoz.

Mensaje MIDI y flujo de señales de audio escritos en MATLAB para un sintetizador de instrumentos musicales.

Mediciones acústicas y audio espacial

Mida las respuestas del sistema, analice y mida las señales y diseñe sistemas de procesamiento de audio espacial.

Medición y análisis basados en estándares

Aplique medidores de nivel de presión sonora (SPL) y medidores de volumen a señales grabadas o en tiempo real. Analice las señales con filtros de octava y de fracciones de octava. Aplique filtros de ponderación A, C o K conformes a estándares en grabaciones sin procesar. Mida la nitidez acústica, la aspereza y la fuerza de fluctuación.

Visualización de distintas medidas de SPL en dos bandas de tercios de octava.

Medición de la respuesta a impulso

Mida las respuestas a impulso y frecuencia de sistemas acústicos y de audio mediante secuencias de longitud máxima (MLS) y sinusoides de barrido exponencial (ESS). Utilice la app Impulse Response Measurer. Automatice las mediciones con la generación programática de señales de excitación y la estimación de las respuestas del sistema.

App Impulse Response Measurer que muestra una respuesta estimada en los dominios del tiempo y de la frecuencia, un menú con una lista de otras respuestas a impulsos estimadas disponibles para generar gráficas, y otros controles interactivos de la app.

 App Impulse Response Measurer.

Convolución eficiente con respuestas a impulsos en una sala

Convolucione las señales con respuestas largas a impulsos de forma eficiente mediante implementaciones overlap-and-add u overlap-and-save en el dominio de frecuencia. Encuentre el equilibro entre latencia y velocidad de cálculo mediante el particionamiento automático de la respuesta a impulso.

Valor absoluto de una respuesta a impulso bastante larga a lo largo del tiempo, con una escala logarítmica en el eje Y, en MATLAB. Después de cinco segundos, la gráfica muestra que los valores absolutos normalizados aún no son inferiores a una milésima parte de la amplitud inicial.

Respuesta a impulso de cinco segundos o más, con muestras de 220 k a 44.100 Hz.

Audio espacial

Codifique y decodifique distintos formatos ambisónicos. Interpole funciones de transferencia relacionadas con la cabeza (HRTF) con muestreo espacial.

Maniquí binaural con tres altavoces ubicados en los vértices de un sector esférico que representan tres posiciones en las que se conoce la función de transferencia relacionada con la cabeza, y una cuarta posición aleatoria dentro del sector, correspondiente a la función de transferencia relacionada con la cabeza que se desea estimar.

Ejemplo de posición de la fuente de sonido deseada y ángulos más cercanos con mediciones HRTF disponibles.

Generación y alojamiento de complementos de audio

Prototipe algoritmos de procesamiento de audio escritos en MATLAB como complementos de audio estándar; utilice complementos de audio externos como objetos normales de MATLAB.

Generación de complementos de audio

Genere complementos VST, complementos AU y complementos ejecutables independientes directamente a partir de código de MATLAB, sin necesidad de diseñar manualmente interfaces de usuario. Para el prototipado de complementos más avanzados, genere proyectos JUCE C++ listos para crear (requiere MATLAB Coder).

Interfaz de usuario de un complemento de audio generado con MATLAB, tal y como se ve mientras se utiliza dentro de REAPER, una conocida estación de trabajo de audio digital. La interfaz de usuario incluye varios controles deslizantes y perillas en una cuadrícula de 3 por 3.

Ejemplo de EQ paramétrico multibanda: complemento VST generado con código de MATLAB que se ejecuta en REAPER.

Alojamiento de complementos de audio externos

Utilice complementos VST y AU externos como objetos normales de MATLAB. Cambie los parámetros de los complementos y procese arrays de MATLAB de forma programática. Si lo prefiere, automatice las asociaciones de parámetros de complementos con interfaces de usuario y controles MIDI. Aloje complementos generados con código de MATLAB para aumentar la eficiencia de ejecución.

A la izquierda, interfaz de usuario de un complemento de audio comercial para eliminar ruido de audio, con una perilla para establecer el nivel de supresión de ruido. A la derecha, líneas de código que muestran cómo se puede importar ese complemento y utilizarlo de manera programática como objeto de MATLAB.

Ejemplo de complemento VST externo para eliminar ruido en audio (Accusonus ERA-N) e interfaz programática en MATLAB.

Sistemas de audio en tiempo real y embebidos en plataformas

Genere código para implementar diseños de procesamiento de audio en dispositivos de software y automatizar el acceso a interfaces de audio.

Generación de código para plataformas CPU y GPU

Con los productos codificadores de MathWorks, genere código fuente C y C++ a partir de algoritmos de procesamiento de señales y Machine Learning proporcionados como funciones, objetos y bloques de toolbox. Genere código fuente CUDA a partir de funciones de extracción de características seleccionadas como mfcc y melSpectrogram.

Gráfica del tiempo transcurrido en cada ciclo de predicción de un sistema de reconocimiento de comandos de voz, que muestra que el tiempo empleado está muy por debajo del balance de tiempo disponible, cuyo valor es 50.

Perfil dinámico de una implementación optimizada en un procesador ARM Cortex-A de un sistema de reconocimiento de comandos de voz basado en Deep Learning

Dispositivos móviles y de bajo coste

Prototipe diseños de procesamiento de audio en Raspberry Pi™ con interfaces de audio multicanal integrados o externos. Cree paneles de control interactivos como apps móviles para dispositivos Android® o iOS.

Placa Raspberry Pi.

Placa Raspberry Pi 3 para prototipado de diseños.

Sistemas sin latencia

Prototipe diseños de procesamiento de audio con entradas y salidas de muestra única para el control de ruido adaptativo, la validación de audífonos u otras aplicaciones que requieren una latencia DSP de ida y vuelta mínima. Ejecute automáticamente los modelos de Simulink en plataformas de audio Speedgoat y placas ST de Discovery.