Archivos de sonido y análisis de audio

Objeto soundFile player

Mosaic permite archivos de sonido de tipo .wav, .mp3, .ogg y .flac. Para cargar un archivo de sonido podemos utilizar el objeto  soundfile player, o arrastrar directamente el archivo sobre el canvas de Mosaic, aparecerá directamente cargado en un objeto  soundfile player. En su menú config, similar al del objeto videoplayer, hay un botón  por si se quiere cambiar ese archivo por otro; los controles básicos para play, stop y pause; dos sliders para regular velocidad y volumen; y la opción para seleccionar loop, o no.

Sus inlets son:

• control: puede recibir mensajes para “play” “stop” “pause” “unpause” “loop_normal” y “loop_none” a través de los objetos message o  player controls. Este último objeto permite controlar dinámicamente estas opciones  a través de su segundo inlet:select. Si recibe 1 activa play, con 2 stop, 3 pause, 4 unpause, 5 loop_normal y 6 loop_none.
• playhead: posiciona el cabezal de reproducción, el rango va de 0 a 1.
• speed: velocidad de reproducción, 1 velocidad estándar,  2 acelerada,  -1 reproducción inversa y -2 reproducción inversa acelerada.
• volumen: regula el volumen del audio, el rango va de 0 a 1.
• bang: Si recibe una señal de bang reinicia la reproducción del archivo.

Y sus outlets:

• audioFileSignal: transmite la señal sonora, para escucharlo hay que conectarlo al objeto audio device.
• dataBuffer: transmite un vector float con 1024 valores del buffer.
• finish: transmite un bang cuando ha terminado la reproducción del archivo.

Análisis de audio input

Es sencillo analizar los valores de la señal de audio a través del objeto audio analyzer, la señal sonora entra por su primer inlet y el objeto transmite por su outlet todos los valores analizados en un array,  señal tipo vector <float>. Para facilitar la adquisición concreta de los datos que se estén buscando, se utilizan los objetos extractores.

También se puede regular el nivel de volumen y suavizar los datos,  manualmente desde su interface o automatizarlo por sus 2 últimos inlets.

Objetos extractores

• bpm extractor – Transmite el beat, la media de bpm en un período de tiempo, y ese período de tiempo en milisegundos.
• fft extractor – Extrae la FFT (Fast Fourier Transform / Transformada rápida de Fourier).
• mel bands extractor –  Extrae un vector dinámico con los 24 valores de las Bandas de Mel.
• pitch extractor – Extrae el pitch de la señal de audio como un valor float (entre 0.0 y 4186.0) que corresponde ala tono.
• rms extractor – Extrae la media cuadrática (Root Mean Square) del vector de análisis de audio como un valor float (entre 0.0 y 1.0) que corresponde al volumen.

Hay objetos extractores que tienen como salida un solo valor float dinámico, como rms extractor o pitch extractor, y se pueden utilizar esos datos para regular dinámicamente un inlet float de otros objetos. En el siguiente ejemplo estos datos modifican los niveles de transparencia de 3 capas de imágenes. En función del rango de valores que da cada objeto extractor, se utiliza un operador para transformarlo entre 0 y 10, que es el rango de transparencia del shader.

En el siguiente ejemplo se utiliza el objeto video gate, para asignarle el valor en su inlet open se utiliza el dato de salida de un objeto counter impulsado por la salida del objeto beat extractor, sus valores son 0 ó 1,  por lo que puede considerarse como una secuencia de bangs regulada por el sonido. Cada vez que se detecta un beat, envía un bang al counter, y este cambia la imagen que sale del objeto video gate.