…I do think I can interact with a cat. That’s a feeling I have. But not with an ant, for example… [1]
Toda percepción implica un grado de interactividad con los estímulos que la generan y su entorno. A través de los sentidos recogemos datos (inputs), nuestra mente los codifica y/o reflexiona sobre ellos (procesa) y como resultado pueden modificar nuestro conocimiento, comportamiento, estado de salud, ánimo, etc., (output), es decir, lo cognitivo, cultural y psicológico se incorpora a la percepción, al tiempo que lo percibido los puede transformar si ese encuentro ha suscitado un verdadero efecto en nosotros. Umberto Eco señala respecto a la lectura: «Todo texto es una máquina perezosa que le pide al lector que le haga parte de su trabajo»[2]. Marcel Duchamp, respecto a las artes visuales dice: «el acto creativo no es desempeñado por el artista solamente; el espectador lleva la obra al contacto con el mundo exterior por medio del desciframiento y la interpretación de sus cualidades internas y así agrega su contribución al acto creativo»[3].
Es el espectador quien completa el texto y el acto creativo, con una interactividad que se mueve a nivel cognitivo, cultural y psicológico. En el contexto de los medios digitales la idea de interactividad crece sobretodo en los factores técnicos, transformando el espectador con su interactividad el proceso de desarrollo de la obra. Es de esperar que este nivel se sume a los otros, para que esa experiencia de interactividad humano-máquina, espectador-obra, no quede restringida.
Con la siguiente selección de definiciones y referencias sobre la interactividad en el arte digital, queremos aportar un panorama amplio de las distintas posiciones que artistas y teóricos han adoptado ante este debate. Algunas son muy extensas, sí, pero dibujan bien el cambio que se ha producido desde los pioneros hasta la actualidad.
Definiciones y referencias de Interactividad
Myron W. Krueger:
[…] observando a los participantes que interactuaban con las piezas, he desarrollado una fuerte intuición sobre lo que la gente puede llegar a entender de lo que está haciendo y lo que quieren que suceda. Mi idea de interacción surgió de esta observación de los participantes, más que de ideas preconcebidas, evitando la creación de un arte que suena muy impresionante cuando se describe por escrito, pero que no tiene éxito con su público. Esto fue poco después de las instalaciones originales, tras dieciséis años de desarrollar las capacidades de la visión por ordenador necesarias para que el trabajo empezara a ser autónomo. Todo el trabajo posterior se ha basado en una estética de los interactivos aprendida en las primeras piezas:
- El arte debe ser divertido y accesible.
- La interacción física es una nueva dimensión que debe ser explorada. Aunque nuestra cultura sólo permite a los adultos modos limitados de movimiento físico, el arte interactivo puede inducir a moverse en nuevas formas.
- Las pantallas deben dominar el campo de visión de los participantes para que se sumerjan en la experiencia interactiva.
- La imagen de los participantes es un ingrediente útil en la pantalla visual. La gente considera su imagen como una extensión de su identidad. ¿Qué pasa, que les pasa. Qué tocan, ellos sienten?.
- Las respuestas del ordenador deben ser obvias. Siempre debe haber un nivel superficial, que la gente pueda entender en pocos segundos. En un mundo en el que las experiencias interactivas compiten con muchas otras alternativas, una pieza que no es aprehendida casi de inmediato se abandona rápidamente.
- Todos los estímulos generados por el ordenador deben ser una respuesta a las acciones de los participantes. Cuando el equipo inicia estímulos gratuitos, la capacidad de los participantes para comprender lo que está pasando se ve amenazada.
- No es necesario el realismo gráfico para una interacción convincente. De hecho, los entornos gráficos realistas suelen aportar confusión y son menos claros que las posibilidades interactivas que el mundo virtual ofrece.
- La interacción entre el participante y el mundo virtual debe ser fluida y sin problemas. Esto significa que las respuestas debe ser instantáneas, tal como lo serían en el mundo real. Así como un taxi que corre por una pista de despegue, pero no se mueven lo suficientemente rápido como para despegar no es un avión, una experiencia interactiva en la que el participante es consciente de un desfase entre su acción y la respuesta de la pieza no es interactiva.
- Dando a la audiencia muchas interacciones diferentes para elegir los mantienes interesados por más tiempo.
- Si se ofrece un lienzo, pincel y pinturas de óleo en un lugar público, muy poca gente tratará de crear arte, pero cuando se enfrentan a la posibilidad de utilizar un medio en el que las reglas son desconocidas y con el que las posibilidades de éxito estético son Altas, la mayoría de la gente moverán sus cuerpos para crear un resultado que les agrade. De hecho, la exploración estética ofrece una nueva razón para mover el cuerpo.
- Idealmente, una pieza debería hacer algo que tenga sentido en todas las condiciones de exposición: lleno frente vacío, ruidosa frente silenciosa, individuos aislados frente pequeños grupos.
- Mientras que los videojuegos se basan en los resultados para motivar la participación en experiencias muy estructuradas, la participación física permite desarrollar otros estilos de interacción.
- Cargar con dispositivos como head-mounted displays distancia al participante de la experiencia virtual y aún no son suficientemente buenos para utilizarlos. [4]
Stephen Wilson
La interactividad es a menudo considerada el rasgo distintivo de los medios basados en el ordenador. El público está invitado a actuar para influir en el curso de los acontecimientos, o para navegar por el hiperespacio de datos. Al principio, esta relación entre público y obra se consideró una aportación bastante radical, que transformaba a artista y público en co-creadores lo que incrementaba las probabilidades de un compromiso intelectual, espiritual y estético. A medida que el campo ha madurado, tanto artistas como teóricos han tratado de deconstruir la interactividad. [5]
Joshua Noble
En una obra de arte interactivo, el objeto de arte es realmente la interacción entre el observador y el sistema que el artista ha creado. Ese sistema puede ser muy complejo tecnológicamente, puede tener un único elemento técnicamente simple, o puede no tener nada.
[…] La interactividad es un concepto que tiende a utilizarse para evadir las descripciones de los mecanismos tecnológicos de los medios, y como resultado, con demasiada frecuencia elude una atención analítica y crítica sostenida. [6]
Erkki Huhtamo,
[…] la tecnología interactiva soporta una gran promesa. Bien podría subvertir las prácticas de media art predominantes y sustituirlas con formas más versátiles, amigables y «democráticas». Sin embargo, dirigirse solo al desarrollo de hardware, diseño de interfaz y curvas de ventas no será suficiente para lograr este objetivo. La tecnología digital ha de ser valorada en un contexto más amplio que abarca no sólo el espectro completo de las prácticas contemporáneas sociales e ideológicas, sino la historia también. Este artículo ha tratado de demostrar -aunque a través de muestreo muy selectivo- que las obras de arte interactivas pueden tener un papel fundamental en este proceso, manteniendo un metadiálogo continuo sobre la interactividad. Esto no es una tarea fácil. Como Andy Darley ha dicho de manera sucinta: «Las posibilidades de formas constructivas igualitarias, más democráticas, que ofrezcan nuevas formas de interacción, conocimiento y comprensión puede ser mejorada por la capacidad novedosa de las nuevas tecnologías. Y más que nunca, tienen que esforzarse en ello» [7].
Estas definiciones señalan algunas características del arte interactivo, y su transformación desde la interactividad directa y casi mimética de los pioneros, muy vinculada a la relación humano-máquina (human computer interaction), la interactividad indirecta, hasta el metalenguaje interactivo que señala Huhtamo o su deconstrucción según Wilson.
En la interactividad directa, la experiencia del espectador habitualmente se debate ante el desafío de encontrar los mecanismos de interacción (su funcionamiento técnico) y lo que la obra transmite, llegando a tener una experiencia satisfactoria semejante a la que se alcanza cuando consigues superar el nivel en un videojuego, pero a veces distante al tipo de fruición y reflexión propios del arte.
A finales de los 90’s algunas propuestas empezaron a cuestionar el sentido de la interactividad en el arte digital. Para mostrarlas de una forma concisa reduciremos el rango a dos posiciones extremas, si bien entre ambas se sitúa gradualmente ese desplazamiento: por una parte, la interactividad directa entre el espectador y la pieza, en la que el rol del espectador se aproxima al performer; por otra parte, el contenido de la obra se configura a través de la interactividad de los mecanismos técnicos de la pieza con datos obtenidos del entorno físico o del flujo de datos de la red. Con ello se desplazaba la noción de interactividad desde la relación espectador/obra [humano-máquina] hacia entorno/obra pudiendo el espectador participar en los datos que proporciona el entorno, o no.
En el año 2002, la obra Listening Post, [8] de Ben Rubin y Mark Hansen, subrayó ese desplazamiento del concepto de interactividad hacia otro tipo de relación entre inputs — procesamiento — output. La pieza combina de forma sugerente la entrada dinámica de datos en tiempo real con el debate sobre espacio privado/publico en la red. Esa entrada dinámica está constituida por la selección de fragmentos de texto de miles de salas de chat de Internet (no restringidas), tablones de anuncios y otros foros públicos en la red. El procesamiento de esos datos tiene como resultado que los textos seleccionados son cantados por un sintetizador de voz, y al mismo tiempo se muestran a través de más de doscientas pequeñas pantallas electrónicas que construyen una membrana reticular curva. El flujo de esa información, textos y sonidos, va generando una composición musical y visual, articulada en seis movimientos, cada uno de los cuales mantiene una dinámica cíclica, generando un ambiente casi ceremonioso y ritual. La participación de los espectadores es principalmente contemplativa, interpretar la instalación, si bien podemos pensar que pueden introducirse en las redes sociales para incrementar ese flujo de datos, a la espera de que el buscador de la pieza seleccione su aportación. Aunque tal vez es más fascinante sentir que personas distantes están generando este trabajo, sin saberlo.
Respecto a la transformación del rol del espectador en performer, el análisis de piezas como, Very Nervous System (1982-1991) de David Rokevy, o Videoplace (1989) de Myron W. Krueger, entre otras muchas, pueden ilustrarlo.
«La primera gran obra interactiva que he creado se llama «Very Nervous System» y se inició en 1982. Utilicé cámaras de video, procesadores de imagen, ordenadores, sintetizadores y un sistema de sonido para crear un espacio en el que los movimientos de un cuerpo crearan sonido y/o música. El ordenador como medio es muy tendencioso por lo que mi impulso mientras utilizaba el equipo era trabajar firmemente en contra de estos sesgos. Debido a que el equipo es puramente lógico, el lenguaje de la interacción debe esforzarse en ser intuitivo. Debido a que el equipo te saca de tu cuerpo, el cuerpo debe estar fuertemente implicado. Dado que la actividad del ordenador tiene lugar en la escala microscópica de discos de silicio, el encuentro con el equipo debe tener lugar en la escala humana del espacio físico. Y como el equipo es objetivo y desinteresado, la experiencia debería ser íntima.
El resultado es un espacio interactivo en el que el público utiliza sus cuerpos como el elemento activo de la interfaz. El movimiento corporal es rico, complejo y lleno de sutileza y ambigüedad. El Arte digital pionero utilizaba generadores de números aleatorios para proporcionar variedad y complejidad. He sustituido el generador de números aleatorios con la complejidad de la respuesta humana consciente». [9]
Otros artistas mantienen una posición contraria, prefieren que los mecanismos estén a la vista del espectador, para que sean más conscientes de los dispositivos que accionan y del proceso de transformación de la obra. Esta conexión genera un doble efecto, sintiendo la experiencia y viendo así mismo cómo se produce, manteniendo una situación más distante a la ilusión. Es el caso de Laser Tag (2006) de Graffiti Research Lab [10], que utilizan también técnicas de tracking vídeo, con una aplicación desarrollada con openFrameworks. La obra, pide al espectador un carácter activo y actitud diferente: transformarse por un momento en un grafitero que deja mensajes efímeros y luminosos en la calle, utilizando un láser para dibujar que el software transforma según los parámetros seleccionados.
Otra tipología de arte interactivo se basa en la construcción de interfaces físicos que el espectador manipula para ir desplegando los contenidos de la obra, ejemplos pioneros son The Legible City (1988-1991) de Jeffrey Shaw, o Blackboard (1993) de Frank Fietzek, ambas recurren a un planteamiento metafórico que guía la construcción de sentido, asociando la interface a objetos cotidianos cuyo uso conoce bien el espectador.
En The Legible City la presencia de una bicicleta estática invita al espectador a recorrer una ciudad virtual, urbanizada por grandes bloques de textos tridimensionales. Pedaleando y girando el manillar, el espectador controla la dirección y velocidad de su recorrido por la ciudad legible. Un pequeño monitor situado junto a la bicicleta muestra el mapa de la ciudad, indicando la posición actual del ciclista.
Existen 3 versiones de esta pieza, la versión de Manhattan (1989) consta de ocho hilos narrativos distintos a modo de monólogos del ex-alcalde Koch, Frank Lloyd Wright, Donald Trump, un guía, un estafador, un embajador y un taxista. Cada hilo de la historia tiene un color de letra distinto para que el ciclista pueda elegir uno u otro, si desea seguir el camino de una narración particular. En las versiones de Amsterdam (1990) y Karlsruhe (1991) todas las letras se escalan para que tengan la misma proporción y ubicación de los edificios reales a los que sustituyen, resultando una representación transformada pero exacta de la apariencia arquitectónica de estas ciudades. Los textos de estas dos ciudades proceden de documentos de archivo que describen hechos históricos.
En Blackboard, de Frank Fietzek el espectador ve un pequeño monitor móvil montado con rieles sobre una vieja pizarra de colegio, en la que se perciben todavía ligeros rastros de tiza mal borrados. El monitor está conectado a un ordenador visible, situado debajo de la pizarra. Si el espectador desplaza el monitor a lo largo de la pizarra, horizontalmente y verticalmente, aparecen en él la imagen de palabras y frases escritas con tiza como recuerdo desvelado de lo que la pizarra contuvo, a nivel simbólico .
Estos textos no se ubican de forma concreta en lugares específicos sino que aparecen aleatoriamente pero manteniendo una continuidad con los movimientos. Ante cada nuevo movimiento de la pantalla una serie de sensores indican al sistema las posiciones que va tomando el monitor y aplica esos cambios a las coordenadas de la imagen.
Como se mencionó antes, algunas piezas no plantean una interactividad con el espectador sino con los datos del entorno, es el caso de WIN-D [ World · In · Now] Data (2007), de Moisés Mañas que se genera dinámicamente al recoger los datos relativos al viento de la web de una estación meteorológica.
Instalación sonora controlada mediante los datos variables capturados en tiempo real de una estación meteorológica de Valencia.
A partir de esta información, se pone en funcionamiento una serie de parámetros claves para construir un descriptivo paisaje sonoro de síntesis FM (creado en tiempo real por la aplicación) y una particular deriva a partir de la dirección, grados y velocidad del viento, datos con los que se dirigen cuatro ventiladores industriales situados en los cuatro puntos cardinales de la sala y que provocan con sus variaciones una corriente y una marea de papeles impresos con la información y las coordenadas de la ruta diaria del satélite Meteosat a lo largo del año 2005. Este juego entre el dato, su significado técnico-conceptual y el poder de control, produce una experiencia de feedback telecontrolada entre el espacio exterior de la Galería, la naturaleza del propio dato traducido a voltajes, notas, tonos y matices, y el interior de la Galería, que se configura como una maqueta cartográfica de una situación de protesta [11].
Como describe el autor, la instalación más que reflejar una visualización de datos, retoma ese principio para insertar al espectador en una experiencia visual y sonora que metafóricamente alude a los sistemas de control, a la capacidad que tienen para que un implacable y objetivo flujo de datos repercuta en acontecimientos locales cargados de subjetividad. A diferencia de otros sistemas de interactividad en los que los datos existen previamente y el usuario va accediendo a ellos; el procesado de datos dinámicos, obtenidos en tiempo real, genera situaciones que no se puedan predecir con antelación con exactitud, sólo plantean un entorno de relaciones cambiantes, en este caso reguladas por la dirección e intensidad del viento.
Otra obra cuyo planteamiento reside en los datos que circulan por internet es Red Libre Red Visible (2004) de Diego Díaz y Clara Boj, pero en este caso se trata de una intervención colaborativa en el espacio público urbano que no busca reinterpretar el contenido de esos datos sino visualizar, mediante técnicas de Realidad Aumentada, el flujo y dirección que siguen los paquetes de información digital por las redes inalámbricas abiertas. La parte colaborativa del proyecto es que son los propietarios de esos nodos de red los que identifican el punto de acceso libre y gratuito mediante unas marcas, al tiempo que reivindican un acceso libre de los ciudadanos a dispositivos públicos de wifi en las ciudades.
El proyecto Red Libre Red Visible propone la visualización del los flujos de información intercambiados mediante redes inalámbricas como medio para apoyar a las comunidades wireless en su tarea de construir redes de conectividad alternativas para el intercambio de información de manera libre y gratuita. Hacer visible lo invisible nos permitirá intervenir en el entorno urbano y aportar nuevos significados al espacio colectivo mediante la construcción de arquitecturas que, superpuestas al espacio real, generen un lugar híbrido, mezcla del espacio físico y el espacio digital, producto de la incorporación de las tecnologías de la comunicación a la vida cotidiana. [12]
Por último, retomamos otro fragmento de la entrevista a Jim Campbell que inicia este apartado:
Siempre he pensado que el sentido que se le da al término interactividad en el trabajo con ordenadores estaba equivocado. Me refiero a que el sentido histórico de la «interactividad» siempre ha estado vinculado a un suceso de comunicación mutua, recíproco. Tal como lo veo, lo que realmente se establece con los ordenadores es control. Se les controla para hacer algo [o se controla al espectador para hacer algo]. Las piezas dedicadas a Heisenberg sirven para mostrar estos problemas de una forma directa: cuanto más se quiere ver algo, más se intenta controlar la situación, pero entonces se ve menos y cuando menos lo controlas, más posibilidades tienes de ver. Por ejemplo, en la pieza «Sin título para Heisenberg» cuando se camina hacia la cama, tienes la imagen cada vez más cerca, pero nunca se verán los poros de la piel, lo que se ve son píxeles. Cuando estás más lejos se puede ver a los dos amantes, pero por el hecho de aproximarte no puedes ver más. La pieza del Buda responde de forma similar. Desde la distancia se puede ver la estatua de Buda, pero a medida que te acercas no ves más que su sombra. ¿Qué estás viendo? Ambas piezas hacen referencia al principio de Heisenberg. ¿Lo conoces? [13]
Las definiciones y piezas revisadas incitan a plantear sistemas interactivos complejos, con una base conceptual y menos directos, pero para hacer esos desarrollos es necesario conocer la base técnica de la interactividad. Por eso en los siguientes capítulos se irá analizando el código para interactividad articulado en distintos niveles. Por ejemplo, veremos la interactividad entre formas y sonidos, una suerte de sinestesia visual que recoge datos del análisis de la entrada de audio y los vincula a los parámetros de generación de formas o color. También las técnicas de tracking video (sensor visual) para recoger datos de la posición, movimiento o gestos del espectador y aplicarlos a sonidos, formas, selección de archivos, velocidad de reproducción de video, etc. Después se verá la comunicación de datos procedentes de sensores físicos a través del microcontrolador Arduino y por último la comunicación de datos por red.
Es en estos niveles donde GAmuza cobra más sentido, favoreciendo con los módulos de aplicación un ajuste de los datos de una forma mucho más sencilla que con otros software, lo que permite a las personas que se están iniciando en este campo, centrarse más en el planteamiento de los proyectos artísticos cuando no se tiene una base de programación alta.
[1] Richard Whittaker (1999). «Jim Campbell: Frames of Reference» [texto on-line] <http://www.conversations.org/story.php?sid=30> [28.08.2012]
[2] Umberto Eco (1996). Seis paseos por los bosques narrativos. Barcelona: Lumen. Pág. 11.
[3] Marcel Duchamp (1998). «El proceso creativo» en Notas de Marcel Duchamp. Madrid: Tecnos.
[4] Myron W. Krueger, ‘Towards Interactive Aesthetics’, en Ars Electronica Katalogartikel 2004 <https://webarchive.ars.electronica.art/en/archives/festival_archive/festival_catalogs/festival_artikel.asp%3FiProjectID=12978.html> [20.02.2012].
[5] Stephen Wilson, (2002). Information Arts: Intersections of Art, Science, and Technology. Cambridge (MA): MIT Press. Pág. 653.
[6] Joshua Noble (2009). Programming Interactivity. A Designer’s Guide to Processing, Arduino, and openFrameworks. Sebastopol (CA): O’Reilly. Pág. 14.
[7] Erkki Huhtamo, (1992) ‘Seeking Deeper Contact. Interactive Art as Metacommentary’, [texto on-line] <http://www.kenfeingold.com/seekingdeeper.html> [17.06.2012].
[8] Listening Post – Ear Studio <http://earstudio.com/2010/09/29/listening-post/> [04.09.2012]
[9] David Rokeby, «Very Nervous System» [texto on-line] <http://www.medienkunstnetz.de/works/very-nervous-system/> [26.02.2013]
[10] Documentación en su web <http://www.graffitiresearchlab.com/blog/projects/laser-tag/> [26.02.2013]
[11] Moisés Mañas, WIN-D [ World · In · Now] Data, [texto on-line] <http://www.hibye.org/wind/> [06.03.2013]
[12] Clara Boj y Diego Díaz. (2004). “Red Libre Red Visible” en a mínima nº 7, Barcelona.