Scripting Lua para archivos de imagen, texto, audio y video

1. Archivos de imagen con programación en Lua

La clase of.Image() de openFrameworks permite incorporar fácilmente archivos de imagen a la ventana de salida. Al cargar el archivo se asigna automáticamente un objeto of.Pixels() y crea una textura de openGL con of.Texture() para mostrar los pixels de la imagen. Los archivos de imagen deben estar guardados en la carpeta data junto al archivo del script en Mosaic (o en la carpeta data que hay junto al archivo de Lua en OFlua). Se pueden incorporar archivos de imagen del tipo jpg, gif, tga, tiff, bmp y png.

Para cargar y mostrar la imagen, se vincula la clase of.Image() a una variable global.

Después, en el bloque function setup(), se carga el archivo con el método load() , vinculado al nombre de la variable por medio del operador «:», dentro de los paréntesis del método load se utiliza la variable de sistema SCRIPT_PATH que obtiene la ruta de la carpeta en la que está guardado el archivo de lua, tras ello «..» para concatenar con la ruta en la que está el archivo buscado, por ejemplo, imag:load(SCRIPT_PATH .. "/data/nombreArchivo.jpg"), para importar la imagen desde una carpeta data que está al lado del archivo de lua, o imag:load(SCRIPT_PATH .. "/nombreArchivo.jpg") cuando el archivo de lua está junto al de la imagen.

Por último, en el bloque function draw() se vincula la variable al método draw() cuyos 4 parámetros señalan la posición x, y, más el ancho y alto de la imagen. En el siguiente ejemplo se establece una fórmula para escalar el tamaño de la imagen a las dimensiones de la ventana de salida, utilizando los métodos getWidth() y getHeight() que devuelven el ancho y alto de la imagen. Para conocer todos los métodos de la clase of.Image() ver su documentación en openFrameworks

--
--
--	----------------------------------------------------------
--	Mosaic | OF Visual Patching Developer Platform
--
--	Copyright (c) 2018 Emanuele Mazza aka n3m3da
--
--	Mosaic is distributed under the MIT License. This gives everyone the
--    freedoms to use Mosaic in any context: commercial or non-commercial,
--    public or private, open or closed source.
--
--    See https://github.com/d3cod3/Mosaic for documentation
--	----------------------------------------------------------
--
--
--	image.lua: ejemplo incorporar archivo de imagen
--


mouseX = 0
mouseY = 0
------------------------------ DO NOT DELETE
imag = of.Image()

----------------------------------------------------
function setup()
  -- imag:load(SCRIPT_PATH .. "/data/imagen.jpg") -- en OFlua
     imag:load(SCRIPT_PATH .. "/imagen.jpg")
end
----------------------------------------------------
function update()

end
----------------------------------------------------
function draw()
  mosaicBackground(0,0,0,255)
  w = OUTPUT_WIDTH  -- imagen apaisada, se iguala ancho al de ventana salida
  h = (w/imag:getWidth())*imag:getHeight() -- calcula altura en proporción 
  posX = 0
  posY = (OUTPUT_HEIGHT-h)/2
  of.setColor(255)          -- siempre poner el color para dibujar imagen
  imag:draw(posX,posY,w,h)  -- dibuja imagen
end

1.1. Animación con archivos de imagen y control del tiempo (fps)

También se pueden realizar animaciones de imágenes a modo de stopmotion o pixilación guardando todas la imágenes a utilizar en una carpeta dentro de data. Las imágenes tienen están ordenadas con un dígito al final de su nombre que se inicia con el 0, por ejemplo: imag0, imag1, imag2… Estas imágenes se organizarán en una tabla (una estructura de programación que se verá en detalle más adelante).

En el siguiente ejemplo se muestra cómo en el bloque function setup() se puede asignar a todos los elementos de la tabla images la clase of.Image() y cargarlas con la línea de código:

images[i]:load(SCRIPT_PATH .. string.format("/frames/imag%i.png",i))

Se utiliza la variable de sistema SCRIPT_PATH para obtener la ruta en la que está el archivo de lua . Se utiliza una estructura for para aplicar los métodos a todas las imágenes, el for recorre todos los archivos de una carpeta llamada frames que está dentro de data.

--
--	----------------------------------------------------------
--	Mosaic | OF Visual Patching Developer Platform
--
--	Copyright (c) 2018 Emanuele Mazza aka n3m3da
--
--	Mosaic is distributed under the MIT License. This gives everyone the
--    freedoms to use Mosaic in any context: commercial or non-commercial,
--    public or private, open or closed source.
--
--    See https://github.com/d3cod3/Mosaic for documentation
--	----------------------------------------------------------
--
--
--	Ejemplo animación de tabla de imágenes
--


mouseX = 0
mouseY = 0

------------------------------ DO NOT DELETE

images = {}           -- declara tabla de imágenes
currentImage = 0      -- imagen actual
numImages = 83        -- número total imágenes
wait = 40             -- incrementar/reducir valor para + o - velocidad

----------------------------------------------------
function setup()
  for i=0,numImages-1 do                                
    images[i] = of.Image()                       -- asocia of.Image() a las imágenes
    file = string.format("/frames/imag%i.png",i) -- ruta desde archivo de lua
    -- of.log(of.LOG_NOTICE,SCRIPT_PATH .. file) -- para monitorizar carga ok
    images[i]:load(SCRIPT_PATH .. file)          -- carga todas las imágenes
  end
end

----------------------------------------------------
function update()
  if of.getElapsedTimeMillis()  > wait then      -- controla velocidad reproducción
    currentImage = (currentImage + 1) %  numImages
    of.resetElapsedTimeCounter()                 -- resetea contador de tiempo
  end
end

----------------------------------------------------
function draw()
  mosaicBackground(0,0,0,255)

  of.setColor(255)
  w = OUTPUT_WIDTH                               --centra y escala la imagen
  h = (w/images[currentImage]:getWidth())*images[currentImage]:getHeight()
  posX = 0
  posY = (OUTPUT_HEIGHT-h)/2
  images[currentImage]:draw(posX,posY,w,h)       -- dibuja la imagen

end

----------------------------------------------------

2. Textos y tipografía con script lua

Se pueden incorporar textos que funcionarán como imagen, pues las fuentes de texto (tipografías) se convierten en texturas que se dibujan en la pantalla.

Para ello se utiliza la clase de openFrameworks of.TrueTypeFont() para ASCII extendido. Es necesario cargar el archivo del tipo de fuente previamente en la carpeta data, y para indicarle esa ruta al sistema se utiliza la variable de sistema SCRIPT_PATH

La estructura de código básico para trabajar con textos se inicia asociando una variable global a la clase de openFrameworks.

nombreVariable = of.TrueTypeFont()

En el bloque function setup() se asocia esa misma variable al método load(). Los métodos se vinculan a las variables con el operador «:«, dentro de los parámetros de load() se utiliza primero la variable de sistema SCRIPT_PATH seguido de dos puntos «..» para concatenarlo a los siguientes parámetros, que pueden ser un mínimo de 2, hasta 4 y en casos especiales hasta 7.

nombreVariable:load(SCRIPT_PATH .. string,int,bool,bool, bool, float, int)

Estos parámetros corresponden a:

string: «ruta & nombreArchivo»
int tamaño fuente
bool anti aliasing=true
bool set con todos los caracteres =true
bool dibujar contornos=false
float simplificar el contorno vectorial =0.3f (a mayor número, más simplificación)
int dpi=0 los puntos por pulgada utilizados para pintar el tamaño especificado

El contenido del texto se dibuja en el bloque function draw() con el método drawString() que tiene 3 parámetros: el texto entre comillas y las coordenadas que definen la posición x e y de inicio del texto.

nombreVariable: drawString("texto entrecomillado", x, y)

--
--
--	----------------------------------------------------------
--	Mosaic | OF Visual Patching Developer Platform
--
--	Copyright (c) 2018 Emanuele Mazza aka n3m3da
--
--	Mosaic is distributed under the MIT License. This gives everyone the
--    freedoms to use Mosaic in any context: commercial or non-commercial,
--    public or private, open or closed source.
--
--    See https://github.com/d3cod3/Mosaic for documentation
--	----------------------------------------------------------
--
--
--	font.lua: ejemplo para trabajar con archivos de fuentes 

--
mouseX = 0
mouseY = 0



font = of.TrueTypeFont()              -- asocia variables a clase openframeworks
fontSmall = of.TrueTypeFont()
text = "Mosaic - Hybrid Live Coding"  -- texto a pintar
----------------------------------------------------
function setup()
  font:load(SCRIPT_PATH .. "/Anonymous_Pro_B.ttf", 48)     -- carga las fuentes
  fontSmall:load(SCRIPT_PATH .. "/Anonymous_Pro_B.ttf", 14) 
end
----------------------------------------------------
function update()

end

----------------------------------------------------
function draw()
  mosaicBackground(0,0,0,255)
  of.setColor(255)
  posx = (OUTPUT_WIDTH - font:stringWidth(text))/2  -- calcula posición x
  font:drawString(text, posx, OUTPUT_HEIGHT/2)      -- pinta texto1
  fontSmall:setLetterSpacing(2)                     -- amplia espaciado entre letras
  posx = (OUTPUT_WIDTH - fontSmall:stringWidth(text))/2
  fontSmall:drawString(text,posx,(OUTPUT_HEIGHT/2)+100)
end

En el ejemplo se carga una misma fuente con dos tamaños distintos utilizando 2 variables asociadas a la clase de openFrameworks. En el bloque function setup se cargan esas fuentes utilizando la variable de sistema SCRIPT_PATH

Además de los métodos load() y drawString(), en el ejemplo se ha utilizado stringWidth() que informa al sistema cuál es el valor en pixels del ancho de la cadena de caracteres y se ha utilizado en el código para poner las frases centradas; también se utiliza setLetterSpacing() para regular el kerning (espaciado entre letras). Ver todos los métodos de la clase of.TrueTypeFont() en la documentación de openFrameworks

3. Archivos de video con script lua

También se puede trabajar con archivos de video programando con el objeto scrip Lua. La clase of.VideoPlayer() permite incorporar fácilmente archivos de vídeo a la ventana de salida, se recomienda guardar estos archivos en la carpeta data.

El código básico para reproducir o poner en pausa un archivo de video se muestra en el siguiente ejemplo.

Se vincula la clase of.VideoPlayer() a una variable global.

Después, de forma similar a los archivos de imagen, en el bloque function setup() se localiza el archivo con el método, load() utilizando la variable interna SCRIPT_PATH para indicar la ruta del archivo de video desde la carpeta en la que está guardado el archivo de lua:

       video:load(SCRIPT_PATH .. "/video.mov")

Según las características de reproducción que se deseen: en loop, una sola vez, o que se repita en loop invertido, se utiliza el método setLoopState() cuyo parámetro puede ser: OF_LOOP_NONE, para una sola reproducción, OF_LOOP_NORMAL, para reproducción en loop y OF_LOOP_PALINDROME, para reproducción en ida y vuelta.

En el bloque function update() se actualiza la información del video cada frame, mediante el método update().

En el bloque function draw() se vincula esa misma variable al método draw() cuyos 4 parámetros señalan su posición x, y, y las dimensiones ancho y alto del video.

En el ejemplo se establece la fórmula usada anteriormente para ajustar el tamaño a las dimensiones de la ventana de salida, utilizando los métodos getWidth() y getHeight() para obtener el ancho y alto del video original.

El método setPaused() para detener o reanudar la reproducción del video está vinculado a una variable booleana que cambia su valor de true a false y viceversa al soltar la tecla espacio.

Para conocer todos los métodos de la clase of.VideoPlayer() ver su documentación en openFrameworks

--
--
--	----------------------------------------------------------
--	Mosaic | OF Visual Patching Developer Platform
--
--	Copyright (c) 2018 Emanuele Mazza aka n3m3da
--
--	Mosaic is distributed under the MIT License. This gives everyone the
--    freedoms to use Mosaic in any context: commercial or non-commercial,
--    public or private, open or closed source.
--
--    See https://github.com/d3cod3/Mosaic for documentation
--	----------------------------------------------------------
--
--
--	videoPlayer.lua: ejemplo para incorporar archivos de video desde scrpit lua
--

mouseX = 0
mouseY = 0

------------------------------ DO NOT DELETE
video = of.VideoPlayer()
pause = false
----------------------------------------------------
function setup()
  video:load(SCRIPT_PATH .."/data/video.mov") -- carga archivo de video
  video:play()                                -- reproduce el video
  video:setLoopState(of.LOOP_PALINDROME)      -- el estado puede ser of.LOOP_NONE, 
                                              -- of.LOOP_NORMAL, of.LOOP_PALINDROME
end

----------------------------------------------------
function update()
  video:update()

  if pause then
    video:setPaused(true)     -- pausa la reproducción, o no
  else                        -- vinculado a la tecla espacio
    video:setPaused(false)
  end
end

----------------------------------------------------
function draw()
  mosaicBackground(0,0,0,255)
  of.setColor(255)
  scaleH = (OUTPUT_WIDTH/video:getWidth())*video:getHeight()
  video:draw(0,OUTPUT_HEIGHT/2 - scaleH/2,OUTPUT_WIDTH,scaleH)
end

----------------------------------------------------
function exit()

end

-- input callbacks
----------------------------------------------------
function keyPressed(key)

end

function keyReleased(key)
  if key == string.byte(' ') then
    pause = not pause    -- cambia el valor de true a false  
  end                    -- y viceversa
end

function mouseMoved(x,y)
  mouseX = x
  mouseY = y
end

3.1 video live

La clase of.VideoGrabber() permite conectar con una webCam, el proceso es el siguiente.

Asocial una variable a la clase grabber = of.VideoGrabber()

En el bloque setup() asignar el id del dispositivo e inicializarlo con un tamaño determinado

function setup()
    grabber:setDeviceID(0)
    grabber:setup(320,240)
end

En el bloque update actualizarlo: grabber:update()

Y en el bloque draw pintarlo: grabber:draw(x, y, w, h)

El siguiente ejemplo muestra cómo manipular la información que viene de la webCam

--	----------------------------------------------------------
--	OFlua | OF lua live coding
--
--	Copyright (c) 2020 Emanuele Mazza aka n3m3da
--
--	OFlua is distributed under the MIT License.
--	This gives everyone the freedoms to use Mosaic in any context:
--	commercial or non-commercial, public or private,
--	open or closed source.
--
--      See https://github.com/d3cod3/OFlua for source code
--	----------------------------------------------------------
--
--
--	empty.lua: the basic OFlua template

---------------------------------- OFlua SPECIFIC CODING INFO

-- Mosaic system variable for loading external resources (files)
-- Example:
-- img = of.Image()
-- img:load(SCRIPT_PATH .. "/data/test.jpg")

---------------------------------- OFlua SPECIFIC CODING INFO


----------------------------------- MY VARS

grabber = of.VideoGrabber()
pixels = of.Pixels()
pixelateFactor = 8
----------------------------------------------------
function setup()
    grabber:setDeviceID(0)
    grabber:setup(320,240)
end

----------------------------------------------------
function update()

     grabber:update()
     if grabber:isFrameNew() then
          pixels = grabber:getPixels()
     end
end

----------------------------------------------------
function draw()

    -- draw background first
    of.background(0,0,0,255)

    of.pushMatrix()
    of.scale(OUTPUT_WIDTH/320,OUTPUT_HEIGHT/240,1)
    for i=0,320-1,pixelateFactor do
        for j=0, 240-1,pixelateFactor do
            c = of.Color()
            c = pixels:getColor(i,j)
            of.setColor(c.r,c.g,c.b)
            of.drawEllipse(i+ pixelateFactor/2,j+ pixelateFactor/2,pixelateFactor,pixelateFactor)
        end
    end
    of.popMatrix()
    of.setColor(255)
    grabber:draw(0, 0, 320, 240)
end
----------------------------------------------------

4. Archivos de audio con script lua

Para trabajar con archivos de audio desde la programación con el objeto Lua Script se utiliza la clase de openFrameworks of.SoundPlayer().

En su programación básica, se vincula una variable global a la clase of.SoundPlayer(). Después, al igual que con los archivos de imagen, en el bloque function setup() se carga el archivo con el método load(), utilizando la variable interna SCRIPT_PATH para obtener la ruta del archivo desde la posición en la que está guardado el archivo de lua, después de la variable se ponen dos puntos seguidos para concatenar con el primer parámetro de este método que es un string con la ruta y nombre del archivo; el segundo parámetro es true si el archivo se transmite desde el disco , o false si va a estar completamente cargado en memoria.

Según las características de reproducción que se deseen, en loop o una sola vez, se utiliza el método setLoop() cuyo parámetro puede ser true o false.

El método setVolume() permite regular el nivel de volumen, su parámetro puede ir de 0.0 a 1.0. El método setPan() designa el pan de reproducción, su parámetro oscila entre -1.0 y 1.0 siendo 0.0 el centro, reproduce por los dos canales, -1.0 es totalmente a la izquierda y 1.0 totalmente a la derecha.

El método setSpeed() regula la velocidad de reproducción, 1.0 es la velocidad normal, 2.0 es el doble. Se pueden reproducir archivos de sonido del tipo wav, aif, y mp3. Para conocer todos los métodos de esta clase ver su documentación en openFrameworks

El siguiente ejemplo muestra cómo cargar un archivo de audio, modificar su velocidad de reproducción (cambia el pitch del sonido) con el método setSpeed() , vinculado a la posición Y del ratón al moverse dentro de un área dibujada, y modificar el pan setPan() , según la posición del ratón respecto al eje X, para que se escuche por el altavoz izquierdo, derecho o ambos.

La modificación de estos datos se monitorizan en la ventana de salida utilizando las funciones of.drawBitmapString() y string.format() vinculadas a los métodos, getPosition(), getPan() y getSpeed() que van mostrando el cambio de valores según los movimientos del ratón.

--
--
--	----------------------------------------------------------
--	Mosaic | OF Visual Patching Developer Platform
--
--	Copyright (c) 2018 Emanuele Mazza aka n3m3da
--
--	Mosaic is distributed under the MIT License. This gives everyone the
--    freedoms to use Mosaic in any context: commercial or non-commercial,
--    public or private, open or closed source.
--
--    See https://github.com/d3cod3/Mosaic for documentation
--	----------------------------------------------------------
--
--
--	sound_player.lua: ejemplo trabajar con archivos de audio con of.SoundPlayer,
--


mouseX = 0
mouseY = 0


audio = of.SoundPlayer()
widthStep = 0
----------------------------------------------------
function setup()
  audio:load(SCRIPT_PATH .. "/hypno00.wav", true)
  audio:setVolume(1.0)
  audio:setLoop(true)
  audio:play()
  widthStep = OUTPUT_WIDTH/3 -- asigna el valor a la variable
end

----------------------------------------------------
function update()
  pos = audio:getPosition() 	           -- obtiene posición de lectura del archivo
  audio:setPan(-1 + mouseX/OUTPUT_WIDTH*2) -- relación Pan con posición X

end

----------------------------------------------------
function draw()
  mosaicBackground(0,0,0,255)
  of.setColor(211,21,51)
  text = "Move over Y in this area to change pitch"	 -- dibuja el texto
  of.drawBitmapString(text, widthStep + 10, 30)
  text=string.format("Position:%f",audio:getPosition())  -- datos posición
  of.drawBitmapString(text,widthStep + 10,OUTPUT_HEIGHT-100)
  text = string.format("Speed: %f",audio:getSpeed()) 	  	-- velocidad
  of.drawBitmapString(text,widthStep + 10,OUTPUT_HEIGHT-80)
  text = string.format("Pan: %f",audio:getPan()) 	  	-- pan
  of.drawBitmapString(text,widthStep + 10,OUTPUT_HEIGHT-60)
  of.setLineWidth(3)	   	-- dibuja línea a modo de scroll de reproducción
  of.drawLine(pos*OUTPUT_WIDTH,0,pos*OUTPUT_WIDTH,OUTPUT_HEIGHT)

  of.enableAlphaBlending()
  of.setColor(255, 255, 255, 20)
  of.fill()				-- dibuja el área donde mover el ratón
  of.drawRectangle(widthStep,0, widthStep,OUTPUT_HEIGHT)
  of.disableAlphaBlending()
end

----------------------------------------------------
function exit()

end

-- input callbacks

----------------------------------------------------
function keyPressed(key)

end

function keyReleased(key)

end

function mouseMoved(x,y)
  mouseX = x
  mouseY = y

  if mouseX >= widthStep and mouseX < widthStep*2 then
      audio:setSpeed(of.map(mouseY, 0, OUTPUT_HEIGHT, 0, 2))
    end
end

Currículum