Introducción a Mosaic

Mosaic  es un entorno de programación visual y live coding implementado por Emanuele Mazza en colaboración con el Laboratorio de Luz de la UPV. Está basado en openFrameworks 0.11.0, es open-source y está disponible para Mac OSX (10.13 o superior) y para Linux [Ubuntu (a partir de 16.04), Mint, Debian (desde Debian 9 stretch), Arch y Fedora (a partir de Fedora 29)], aunque es más lógico que las aplicaciones open source se utilicen en sistemas operativos también open source.

¿Qué significa entorno de programación visual y live coding? En el sistema de programación visual por objetos, el flujo de datos se trasmite por medio de cables, la estructura de los objeto en el patch (archivo de Mosaic) facilita la comprensión del proceso como en un diagrama de flujos. Entre estos objetos hay algunos específicos de scripting para  programar en distintos lenguajes (Lua, BASH, GLSL), vinculados a un editor de código para escribir la programación. Estos objetos pueden activarse simultáneamente lo que permite una programación con multi-lenguajes al mismo tiempo.

Mezclar los paradigmas de programación visual y scripting facilita la programación creativa. Cada objeto visual genera/gestiona flujos de datos en un proceso dinámico que proporciona plasticidad al desarrollo de la programación y la hace más intuitiva. La hibridación con la programación por scripting propicia una situación fértil de aprendizaje, una polinización cruzada entre la comprensión intuitiva de los objetos y el feedback que se recibe por comparación de todo el proceso de programación.

Instalación

Desde la web de Mosaic (Download) se puede descargar la aplicación para distintos sistemas operativos:

• En mac OSX, tras bajar y descomprimir el archivo Mosaic_vn.n.n_osx_release.zip (vn.n.n corresponde al número de la release), se recomienda trasladar la app a la carpeta de aplicaciones. Al abrir el programa por primera vez se genera una carpeta denominada Mosaic en Documentos, dentro de ella hay dos carpetas, una denominada data, se recomienda NO TOCAR el contenido de esa carpeta y otra llamada examples que contiene los ejemplos que vienen con la aplicación.

• En Linux está disponible para las distros:
  – Ubuntu (a partir de 16.04)
  – Linux Mint
  – Debian (desde Debian 9 stretch)
  – Arch Linux
  – Fedora (a partir de Fedora 29)

Pero se recomienda para la asignatura instalarlo en Ubuntu 20.0.4.

Seguir las instrucciones señaladas en https://github.com/d3cod3/Mosaic-Installer

• En Windows, bajar y descomprimir el archivo Mosaic_vn.n.n_windows_release.zip (vn.n.n corresponde al número de la release), se recomienda hacer un acceso directo del archivo Mosaic.exe en el esccritorio.

En el caso de tener algún problema consultar con los profesores.

Interface

La interface de Mosaic tiene un menú superior con las opciones File, Objects, Examples, Sound, System, View y Help.

El menú de File permite gestionar los Patch (archivos de Mosaic en formato .xml) con las opciones para generar uno nuevo: New patch, abrir uno previamente guardado: Open patch, o guardar el archivo actual: Save patch As.

Los patch se guardan solo una vez, según vayamos trabajando el archivo se irá guardando automáticamente por lo que al terminar el trabajo no hay que volver a guardarlo, si lo hacemos y reemplazamos el archivo dará error cuando queramos volver a abrirlo. Si por ejemplo queremos dejar un patch tal como está, pero seguir el proceso hasta otro nivel, entonces sí guardaremos con Save patch As, poniendo otro nombre y seguiremos trabajando en este último, y al finalizar no hay que guardar, los dos archivos estarán guardados.

Por último la opción Quit cierra el software.

Después está el menú Objects, con los objetos organizados por tipos:  audio analysis, communications, computer vision, data, graphics, gui, logic, math, scripting, sound, textura  y windowing. Este menú de objetos también aparece en cualquier lugar del  canvas al clicar el botón derecho del ratón.

En la web de Mosaic, apartado References, hay una descripción de cada uno de los objetos, incorporándolos en un ejemplo para comprender mejor su función.

En el menú examples, los ejemplos están organizados por los  tipos livecoding, livepatching y visual programming. La opción livecoding contiene ejemplos de archivos bash, glsl (shaders), lua, processing y pyton. Al seleccionar uno de los ejemplos, en el canvas del patch que tengamos abierto aparece el objeto de scripting que le corresponda, con el archivo ya cargado.

Sin embargo, si seleccionamos un ejemplo de la opción visual programming, Mosaic cerrará el patch que tengamos abierto y abrirá el del ejemplo.

El menú Sound permite configurar el sistema de sonido: el DSP (Digital Signal Processing) aparece activado por defecto y está vinculado al objeto audio device que aparece en el espacio de trabajo, es un objeto de sistema de Mosaic, lo que significa que no se puede agregar/eliminar como los otros objetos, y establece una conexión directa con el dispositivo de audio del ordenador que se ha seleccionado.

Al desplegar Input Device, se selecciona el dispositivo de entrada de audio del ordenador o conectado al ordenador con el que se vaya a trabajar; y en Output Device, el de salida. Si deseleccionamos  el DSP,  el objeto audio device no desaparece, pero permanece inactivo, podremos ver que en la barra inferior de Mosaic se indica en color gris DSP OFF, y cuando lo activamos señala DSP ON.

La consola de Mosaic, que veremos a continuación, informa sobre las características de los dispositivos de audio del ordenador.

En el menú System, la primera opción FPS, se puede teclear el número de fotogramas por segundo que queremos para el procesamiento del patch.

Screenshot permite guardar una imagen del patch que se esté realizando. En cada práctica se solicita incorporar un Screenshot del patch.

En el menú View, si se activa Code Editor, aparece el editor de código de Mosaic a la derecha del patch.

La opción Logger permite visualizar/ocultar la consola de salida de Mosaic en la parte inferior. Esta consola informa de las características de los dispositivos conectados y también señala en rojo los problemas; por ejemplo, si al trabajar con archivos de scripting existe algún error, indica el número de línea donde se encuentra el problema.

Si se selecciona Profilier (perfilador) aparece una tabla gráfica que señala los tiempos que tarda el sistema para ejecutar cada uno de los objetos incorporados, esto nos permite  saber en tiempo real si se está usando o configurando algún objeto de manera equivocada, cuando el tiempo de procesamiento es elevado, es decir, permite detectar los puntos problemáticos del patch. Una vez analizados los resultados, es conveniente desactivarlo para reducir el consumo.

La opción Inspector abre el inspector en la parte derecha derecha de la ventana. Si se clica en la barra superior de cualquier objeto que esté en el canvas, muestra su configuración y puede modificarse directamente.

Desde el menú Help se accede a:

• Mosaic en Github
• Manual de Mosaic
• Referencias de Mosaic (descripción y ejemplos de todos los objetos)
• Documentación de openFrameworks
• Addons oficiales de openFrameworks
• Sobre Mosaic

Flujo de comunicación por cables

Los objetos en la programación visual  transmiten su flujo de datos a través de cables, cada tipo de datos tiene asignado un color diferente, lo que reduce  la posibilidad de errores porque un cable de un color no puede conectarse a un inlet de otro color, de manera que el entorno reduce la posibilidad de errores. Hay siete tipos de datos que se pueden comunicar entre los objetos:

Tipo conexión	Tipo variable	Color
Numérico	Float
Cadena caracteres	String
Array	Vector <Float>
Textura	ofTexture
Pixels	ofPixels
Buffer sonido	ofSoundBuffer
Interactividad teclado/Ratón	Live Coding

Además de la diferencia de colores, cuando se estira del cable de flujo de datos, el sistema informa del tipo de señal y nombre del dato que se está transmitiendo, y sólo se podrá conectar si el inlet del otro objeto está preparado para recibir esa señal, es decir, tiene el mismo color.