Se divide en dos apartados: 1) para los que trabajen con Mosaic y 2) Análisis de audio con OFlua y FFTStream.
En los ejemplos de Mosaic hay un archivo especialmente desarrollado y comentado para facilitar el uso de los datos de análisis de audio. El archivo está en:
examples / livecoding / lua / AudioAnalysis / AudioCombinedData / AudioCombinedData.lua
Comparando los comentarios del código y la imagen del patch, podemos ver que el orden de los datos:
debe coincidir con el organizado con los cables en los objetos float to vector y vector concat.
--
--
-- ----------------------------------------------------------
-- Mosaic | OF Visual Patching Developer Platform
--
-- Copyright (c) 2018 Emanuele Mazza aka n3m3da
--
-- Mosaic is distributed under the MIT License. This gives everyone the
-- freedoms to use Mosaic in any context: commercial or non-commercial,
-- public or private, open or closed source.
--
-- See https://github.com/d3cod3/Mosaic for documentation
-- ----------------------------------------------------------
--
--
-- AudioCombinedData.lua: Basic example of receiving combined data from "audio analyzer" object from Mosaic
--
-- you can try running this script in patch example: examples/visualprogramming/AudioAnalysis/AudioAnalysis_toLua.xml
--
-- variables for mouse interaction
mouseX = 0
mouseY = 0
-- _mosaic_data_inlet is the name of the lua table storing data incoming from a Mosaic patch
-- a vector is automatically converted to a lua table, where the index starts from 1, NOT 0
-- so the first position of your table will be accessed like this: _mosaic_data_inlet[1]
mosaic_data_inlet_size = 0
-- in this example we are using the patch examples/visualprogramming/AudioAnalysis/AudioAnalysis_toLua.xml
-- where the order of tha data table is:
--
-- [1] --> beat
-- [2] --> rms
-- [3] --> pitch
-- [4] --> bpm
-- [5] --> inharmonicity
-- [6 - 6 + 513(FFT data)] --> FFT
beatIndex = 1
rmsIndex = 2
pitchIndex = 3
bpmIndex = 4
inharmIndex = 5
startFFTindex = 6
FFTSize = 513
-- (FFT size is extracted from bufferSize, Mosaic bufferSize is fixed at 1024, fftsize = bufferSize/2 + 1)
----------------------------------------------------
function setup()
of.setCircleResolution(50)
end
----------------------------------------------------
function update()
------------------------------------------------ MOSAIC CODE
mosaic_data_inlet_size = getMosaicDataInletSize()
-- send data to _mosaic_data_outlet if needed
-- we are using here just the first position of the table
-- but you can expand it with numerical data as you need it
-- _mosaic_data_outlet[1] = of.random(10)
------------------------------------------------ MOSAIC CODE
end
----------------------------------------------------
function draw()
------------------------------------------------- MOSAIC CODE
checkMosaicDataInlet()
------------------------------------------------ MOSAIC CODE
-- draw something from audio analysis data
-- The table indexes for data are not fixed, it depends on how you combine the vector data inside
-- your Mosaic patch, using the "floats to vector" and "vector concat" objects
-- in this example we are using the patch examples/visualprogramming/AudioAnalysis/AudioAnalysis_toLua.xml
-- where the data table order is:
--
-- [1] --> beat
-- [2] --> rms
-- [3] --> pitch
-- [4] --> bpm
-- [5] --> inharmonicity
-- [6 - 6 + 513 (FFT data)] --> FFT
mosaicBackground(0,0,0,10)
-- beat detection
if tableSize > beatIndex then
of.setColor(255,255,255)
of.drawRectangle(0,OUTPUT_HEIGHT/2,_mosaic_data_inlet[beatIndex]*OUTPUT_WIDTH,_mosaic_data_inlet[beatIndex]*10)
of.setColor(255,255,255,240)
of.drawRectangle(0,0,_mosaic_data_inlet[beatIndex]*OUTPUT_WIDTH,_mosaic_data_inlet[beatIndex]*OUTPUT_HEIGHT)
end
-- rms (volume)
if tableSize > rmsIndex then
correctedRMS = math.abs(_mosaic_data_inlet[rmsIndex]-0.5) * 2
of.noFill()
of.drawRectangle(0,OUTPUT_HEIGHT/3,correctedRMS*OUTPUT_WIDTH,OUTPUT_HEIGHT/3)
of.drawRectangle(OUTPUT_WIDTH,OUTPUT_HEIGHT/3,-correctedRMS*OUTPUT_WIDTH,OUTPUT_HEIGHT/3)
end
-- pitch
if tableSize > pitchIndex then
normalizedPitch = _mosaic_data_inlet[pitchIndex]/4186
-- pitch detection range from "audio analyzer" object is 0-4186 Hz
of.setColor(127,64,64)
of.noFill()
of.drawRectangle(0,OUTPUT_HEIGHT/3,normalizedPitch*OUTPUT_WIDTH,OUTPUT_HEIGHT/3)
of.drawRectangle(OUTPUT_WIDTH,OUTPUT_HEIGHT/3,-normalizedPitch*OUTPUT_WIDTH,OUTPUT_HEIGHT/3)
end
-- BPM
if tableSize > bpmIndex then
of.setColor(127)
for i=0,math.floor(_mosaic_data_inlet[bpmIndex]) do
of.pushMatrix()
of.rotateYRad(of.random(of.PI))
of.drawRectangle(OUTPUT_WIDTH/_mosaic_data_inlet[bpmIndex]*i,OUTPUT_HEIGHT/2,1,10)
of.popMatrix()
end
end
-- inharmonicity
if tableSize > inharmIndex then
of.setColor(64,64,127)
of.noFill()
of.drawRectangle(0,OUTPUT_HEIGHT/3,_mosaic_data_inlet[inharmIndex]*OUTPUT_WIDTH,OUTPUT_HEIGHT/3)
end
-- FFT
if tableSize > startFFTindex+FFTSize-1 then
of.noFill()
of.setColor(127)
for i=0,FFTSize-1 do
of.pushMatrix()
of.translate(OUTPUT_WIDTH/2,0,0)
of.drawRectangle(-OUTPUT_WIDTH*4*_mosaic_data_inlet[startFFTindex+i]/2, 0, OUTPUT_WIDTH*4*_mosaic_data_inlet[startFFTindex+i], OUTPUT_HEIGHT/3.01)
of.drawRectangle(-OUTPUT_WIDTH*3*_mosaic_data_inlet[startFFTindex+i]/2, OUTPUT_HEIGHT, OUTPUT_WIDTH*3*_mosaic_data_inlet[startFFTindex+i], -OUTPUT_HEIGHT/3.02)
of.popMatrix()
end
end
end
----------------------------------------------------
En windows, OFlua no puede acceder a los datos de audio, para eso utilizamos FFTstream [https://github.com/d3cod3/FFTStream/releases] que transmite por osc, en el puerto 9173, los datos del análisis de la FFT del archivo de audio que arrastremos a su canvas.
OSC (Open Sound Control) es un protocolo de comunicación entre ordenadores o entre diferentes software de un mismo ordenador, entre sintetizadores de sonido y otros dispositivos multimedia. Proporciona todo lo necesario para controlar en tiempo real el procesamiento de sonido y otros medios, de una forma flexible, estable y fácil de implementar.
Vamos a ver dos ejemplos para describir su uso.
En OFlua se utiliza el addon de openFrameworks ofx.OscReceiver() para recibir los datos de osc. Como con otras clases de openFrameworks, se asocia una variable a la clase, y en este caso se define también el puerto de entrada de datos:
-- inicializar osc receiver oscreceiver = ofx.OscReceiver() oscport = 9173 -- IMPORTANTE, NO CAMBIAR!!!
En las variables se pone también el array (la tabla en Lua) que recogerá esos datos, el número de elementos de ese array, y la etiqueta osc que esos datos tienen por defecto en FFTStream:
-- inicializar variables para almacenar los datos de la fft
fftdata = {}
nBandsToGet = 513
dataLabel = "/FFTStreamDATA"
En el bloque setup(), se configura e inicializa la recepción de los datos:
function setup()
-- configurar el puerto de osc receiver
oscreceiver:setup(oscport)
-- inicializa tabla de datos fft (513 valores que vienen de FFTStream app)
for i=0,nBandsToGet-1 do
fftdata[i] = 0
end
end
En el bloque update() se actualizan esos valores utilizando una estructura de repetición while, que se repetirá mientras haya mensajes en espera, para eso se utiliza el método hasWaitingMessages() de ofx.OscReceiver().
Para obtener esos mensajes se utiliza la clase de openFrameworks ofx.OscMessage() asociada a otra variable y al método getNextMessage() de ofx.OscReceiver():
message = ofx.OscMessage() oscreceiver:getNextMessage(message)
Con una estructura for se obtienen los datos de la FFT, previamente hay una condicional para asegurar que el número de datos que se reciben coincide con los asignados a nBandsToGet y que los recibe con la etiqueta «/FFTStreamDATA». Esta condicional protege de errores, porque el número de dados de la FFT depende del tamaño de buffer establecido: FFT = bufferSize/2 + 1, el tamaño del buffer de FFTStream está predeterminado a 1024 valores, que corresponden a 513 en la FFT y esos datos vienen bajo la etiqueta «/FFTStreamDATA».
function update()
-- está a la escucha de mensajes osc
while oscreceiver:hasWaitingMessages() do
-- para obtener el mensaje (array de datos en este caso específico)
message = ofx.OscMessage()
oscreceiver:getNextMessage(message)
-- almacenar los datos FFT de la aplicación FFTStream
if message:getNumArgs() == nBandsToGet and message:getAddress() == dataLabel then -- asegurar número de datos
for a=0,message:getNumArgs()-1 do
fftdata[a] = message:getArgAsFloat(a)
end
end
end
end
En el bloque draw(), para visibilizar esos datos, mediante una estructura for se dibujan las bandas.
El primer ejemplo completo:
--
--
-- ----------------------------------------------------------
-- OFlua | OF lua live coding
--
-- Copyright (c) 2020 Emanuele Mazza aka n3m3da
--
-- OFlua is distributed under the MIT License.
-- This gives everyone the freedoms to use Mosaic in any context:
-- commercial or non-commercial, public or private,
-- open or closed source.
--
-- See https://github.com/d3cod3/OFlua for source code
-- ----------------------------------------------------------
--
--
-- empty.lua: the basic OFlua template
---------------------------------- MOSAIC SPECIFIC CODING INFO
-- Mosaic system variable for loading external resources (files)
-- Example:
-- img = of.Image()
-- img:load(SCRIPT_PATH .. "/data/test.jpg")
---------------------------------- MOSAIC SPECIFIC CODING INFO
----------------------------------- MY VARS
-- init the osc receiver
oscreceiver = ofx.OscReceiver()
oscport = 9173 -- IMPORTANT, DO NOT CHANGE!!!
-- init vars for storing the fft data
fftdata = {}
nBandsToGet = 513
dataLabel = "/FFTStreamDATA"
----------------------------------- MY VARS
----------------------------------------------------
-- main methods
----------------------------------------------------
function setup()
-- setup osc receiver
oscreceiver:setup(oscport)
-- init fft data table (513 values coming from FFTStream app)
for i=0,nBandsToGet-1 do
fftdata[i] = 0
end
end
----------------------------------------------------
function update()
-- listen for osc messages
while oscreceiver:hasWaitingMessages() do
-- get message (data array in this specific case)
message = ofx.OscMessage()
oscreceiver:getNextMessage(message)
-- store the fft data from FFTStream app
if message:getNumArgs()==nBandsToGet and message:getAddress()==dataLabel then
for i=0,nBandsToGet-1 do
fftdata[i] = message:getArgAsFloat(i)
end
end
end
end
----------------------------------------------------
function draw()
-- draw background first
of.setColor(0,0,0,255)
of.drawRectangle(0,0,OUTPUT_WIDTH,OUTPUT_HEIGHT)
-- draw the FFT
of.setColor(255,255,120,255)
bandwidth = OUTPUT_WIDTH/nBandsToGet
for i=0,nBandsToGet-1 do
of.drawRectangle(i*bandwidth,OUTPUT_HEIGHT,bandwidth,-(fftdata[i] * (OUTPUT_HEIGHT-100)))
end
end
----------------------------------------------------
En el segundo ejemplo se muestra cómo obtener de los datos de la FFT, un promedio (average) de sus valores que refleja el volumen (la potencia media), y también cómo calcular el mayor valor de la FTT (strongestValue) que correspondería aproximadamente al pitch.
Para calcular el promedio, se suman todos los datos de la FTT que se obtienen en la estructura for y se divide por el número de vueltas que da el for, en este caso getNumArgs():
average = 0
for a=0,message:getNumArgs()-1 do
fftdata[a] = message:getArgAsFloat(a)
average = average + fftdata[a]
end
average = average/message:getNumArgs()
Para calcular el mayor valor de la FTT:
strongestValue = 0
for a=0,message:getNumArgs()-1 do
fftdata[a] = message:getArgAsFloat(a)
-- se desprecian los primeros 10 valores porque suelen estar sobredimensionados
if a > 10 and fftdata[a] > strongestValue then
strongestValue = fftdata[a]
end
end
En el fragmento de código se ve que la condicional empieza a rastrear en los datos a partir de la banda 10, porque en openFrameworks los 10 primeros valores de la FFT están sobredimensionadas y su segunda condición fftdata[a] > strongestValue nos da la banda más alta.
El segundo ejemplo completo:
-- ----------------------------------------------------------
-- OFlua | OF lua live coding
--
-- Copyright (c) 2020 Emanuele Mazza aka n3m3da
--
-- OFlua is distributed under the MIT License.
-- This gives everyone the freedoms to use Mosaic in any context:
-- commercial or non-commercial, public or private,
-- open or closed source.
--
-- See https://github.com/d3cod3/OFlua for source code
-- ----------------------------------------------------------
--
--
-- empty.lua: the basic OFlua template
---------------------------------- MOSAIC SPECIFIC CODING INFO
-- Mosaic system variable for loading external resources (files)
-- Example:
-- img = of.Image()
-- img:load(SCRIPT_PATH .. "/data/test.jpg")
---------------------------------- MOSAIC SPECIFIC CODING INFO
----------------------------------- MY VARS
-- init the osc receiver
oscreceiver = ofx.OscReceiver()
oscport = 9173 -- IMPORTANT, DO NOT CHANGE!!!
-- init vars for storing the fft data
fftdata = {}
nBandsToGet = 513
average = 0
strongestValue = 0
strongest = 0
----------------------------------------------------
function setup()
of.setCircleResolution(80)
-- setup osc receiver
oscreceiver:setup(oscport)
-- init fft data table (513 values coming from FFTStream app)
for i=0,nBandsToGet-1 do
fftdata[i] = 0
end
end
----------------------------------------------------
function update()
-- listen for osc messages
while oscreceiver:hasWaitingMessages() do
-- get message (data array in this specific case)
message = ofx.OscMessage()
oscreceiver:getNextMessage(message)
-- store the fft data from FFTStream app
if message:getNumArgs() == nBandsToGet and message:getAddress() == dataLabel then
average = 0
strongestValue = 0
for a=0,message:getNumArgs()-1 do
fftdata[a] = message:getArgAsFloat(a)
average = average + fftdata[a]
if a > 10 and fftdata[a] > strongestValue then
strongestValue = fftdata[a]
strongest = a
end
end
average = average/message:getNumArgs()
--of.log(of.LOG_NOTICE,average) -- remove comment to see value at logger
end
end
end
----------------------------------------------------
function draw()
-- draw background first
of.setColor(0,0,0,255)
of.drawRectangle(0,0,OUTPUT_WIDTH,OUTPUT_HEIGHT)
-- draw the FFT bands
of.noFill()
of.setColor(255,255,120,255)
bandwidth = OUTPUT_WIDTH/nBandsToGet -- width of each band
for i=0,nBandsToGet-1 do
if i == strongest then
of.setColor(255,0,120,255) -- strongest band red
else
of.setColor(255,255,120,255)
end
of.drawRectangle(i*bandwidth,OUTPUT_HEIGHT,bandwidth,-(fftdata[i] * (OUTPUT_HEIGHT-100)))
end
-- draw the FFT strongest value as red circle radio
of.setColor(255,0,120,255)
of.drawCircle(OUTPUT_WIDTH/2, OUTPUT_HEIGHT/2, strongestValue*500) -- pseudo Pitch
-- draw the FFT average value as white circle radio
of.fill()
of.setColor(255)
of.drawCircle(OUTPUT_WIDTH/2, OUTPUT_HEIGHT/2, average*500) --- Power
end
----------------------------------------------------
En el siguiente video se ve todo el proceso de trabajo y programación para la generación de un gráfico con los datos del análisis de la FFT