Transponer lo sensible

En el seno de lo digital, los datos visuales pueden «leerse» para dar forma a un registro sonoro y, a la inversa, a partir de un archivo de sonido (.wav, .mp3) es posible generar una imagen¹. Esta propiedad, ya presente en los medios analógicos², se intensifica con lo digital y hace más inmediatas las posibilidades de experimentación intermedial. Han surgido así numerosos ensayos visuales y microobras, compartidos en las redes sociales o en foros especializados³, con consistencias estéticas diversas. La mayoría de las veces, el paso de los datos entre el sonido y la imagen se lleva a cabo en busca de glitches, de anomalías potencialmente interesantes que descubrir en la imagen o en el sonido tras haber forzado a los datos a transgredir sus respectivas fronteras mediales, es decir, manipulando una imagen en un programa de tratamiento de sonido y viceversa⁴. En los párrafos siguientes nos detendremos, sin embargo, en una obra que modula de otro modo la articulación sonido-imagen en el seno de lo digital, y que asegura una forma de coherencia entre ambos registros sin pasar por ello, como hacen las obras estudiadas en la sección anterior —Desestructuraciones—, por un funcionamiento «fuera de programa» de la máquina.

Cuando el sonido desgarra la imagen

Con Entwining of Lost Souls, vídeo de 9 min 38 s realizado por Simon Le Boggit en 2022, nos encontramos ante una entidad híbrida en la que el sonido y la imagen se entrelazan íntimamente. En la pantalla se materializan notas musicales tocadas con viola, que adoptan la forma de trazos de colores muy saturados, cubren los extremos del espectro cromático y evolucionan en perfecta sincronía con el sonido. Estas notas, prolongadas por largos vibrato, se suceden sin formar melodía, pero crean intervalos cortos de expresividad variable (dramática, melancólica, misteriosa…). Cada nueva nota desgarra la imagen en una dirección diferente y le imprime una vibración visual que se extingue al mismo tiempo que el sonido. Todo sucede como si un pincel de sonido y de luz actuara sobre el encuadre, depositando materia a la vez que redistribuye la que ya está presente, a la manera de una acuarela sacudida brevemente por una intensa oscilación. Las pinceladas de color se superponen unas sobre otras, animadas cuando se «depositan», pero rápidamente fijadas: en cuanto se extingue «su» nota, cada pincelada pictórica se funde en el fondo coloreado de la imagen, que a su vez desvela otro fondo, negro esta vez, en una imagen visualmente estratificada. Los nuevos trazos se extienden deformando los antiguos, como en una especie de palimpsesto fluidificado. Por momentos, los trazos de sonido-luz se presentan como parte de superficies planas que atraviesan oblicuamente el encuadre, superficies que redefinen sus inclinaciones espaciales con cada nota. La imagen se debate entonces entre la planitud del encuadre y la ilusión de una profundidad espacial.

Entwining of Lost Souls moviliza la imagen digital de manera singular y revela su elasticidad casi infinita. La obra hace reaccionar la imagen en lo que esta tiene de líquido, como si estuviera compuesta por flujos que se derraman en todas direcciones. Al igual que varias obras de nuestro corpus, la de Le Boggit desvela la carne magmática de la imagen digital, hecha de señales eléctricas que escapan a la percepción humana.

La imagen, memoria del sonido

Más allá del aspecto medial, algunos elementos de contexto nos permitirán captar una de las cuestiones principales de la obra. Simon Le Boggit concilia su práctica artística con una situación personal difícil. En efecto, este artista procedente del mundo de la música ha sufrido una pérdida progresiva de su capacidad auditiva que podría agravarse en el futuro⁵. El artista aprovecha entonces la capacidad de transcodificación de la tecnología digital para transponer el universo sonoro al registro visual, preparándose, según sus propias palabras, para el día en que, por desgracia, haya perdido por completo su capacidad auditiva⁶.

En este marco, podemos plantearnos una cuestión fundamental: ¿podrá llevarse a cabo de manera transparente este paso del sonido a lo visual? ¿O habrá que prever alteraciones, deslizamientos, que afectarán a las formas sonoras en su paso hacia lo visible? De esta interrogación se desprende un hecho evidente, a saber, que los dominios del sonido y de la imagen poseen características específicas que los hacen fundamentalmente diferentes, realidad que se manifiesta claramente en la obra, pese al grado de entrelazamiento que se produce en ella entre el sonido y la imagen. En efecto, mientras que el sonido establece una conexión sensible privilegiada, capaz de estructurar de manera directa e instantánea estados de ánimo, lo visual, por su parte, está más espacializado y parece mantener un vínculo más fuerte con lo «intelectualizable» y con lo simbólico.

No obstante, como esta investigación no deja de intentar subrayar, antes de poblarse de símbolos, lo visual se constituye de huellas, y son esas huellas las que operan, en definitiva, en el seno de la obra. Es a través de lo visual como se accede al «pasado» de la imagen, pero también al del sonido en el marco de esta obra, hasta tal punto este sonido está aquí cerca de lo visual. En efecto, si el sonido, sobre todo en esta composición atonal que ignora la armonía, retiene poco el recuerdo de las notas precedentes, la imagen conserva de manera más duradera las impresiones visuales de las notas pasadas. Así, es en el nivel de la transferencia memorial del sonido hacia la imagen, particularmente legible en el seno de lo digital, donde se sitúa una de las fibras activas de la obra. Esta subraya de un modo particular las posibilidades sinestésicas del medio.

Del «lenguaje» a la huella

Cuando se estudian los detalles del proceso de creación que está en el origen de Entwining of Lost Souls, emerge un aspecto esencial que enriquece nuestra reflexión. Desde el punto de vista procesual, lo que está en juego en la obra no reside tanto en un paso del sonido a la imagen como en una generación simultánea⁷. En efecto, en Entwining of Lost Souls, sonido e imagen se crearon simultáneamente, a partir de los mismos datos, por medios algorítmicos⁸. La obra aprovecha así, a la vez que la ilumina, la característica propia de lo digital evocada al principio de estos párrafos: a saber, la capacidad de lo digital de aproximar los medios, el sonido, la imagen e incluso, en cierta medida, el texto. Sin embargo, esta característica se presenta a menudo, erróneamente, como una ruptura mayor con respecto a la tradición artística. A este respecto, podemos encontrar en la literatura:

[…] el arte digital cuestiona las categorías tradicionales del arte. Se funda, en efecto, en un lenguaje único (el lenguaje binario) […]. El arte digital cuestiona la separación entre las artes del espacio y las artes del tiempo, por ejemplo, o incluso distinciones internas de las artes plásticas, entre pintura y escultura⁹.

¿Podemos realmente adherirnos a esta «especificidad» de lo digital, así formulada, sobre la base de un «lenguaje binario» cuyos contornos y características en tanto que lenguaje quedan por precisar¹⁰? Nunca se ha planteado considerar la pintura (o el dibujo) y la música como parte del mismo «medio», con el argumento de que ambas prácticas encuentran un soporte de inscripción de la misma naturaleza (lienzo, partitura en papel).

La especificidad de lo digital reside en que, allí donde necesitamos a un músico para leer y ejecutar una partitura en papel, el ordenador puede «leer» las mismas huellas tanto como imagen como sonido. Este sustrato formal común contribuye ciertamente a las mayores posibilidades de sincronización entre el sonido y la imagen en el seno de lo digital, pero solo porque la máquina lo lee con exactitud, ya como sonido, ya como imagen. Así, no es en el nivel del soporte de inscripción donde lo digital aproxima los medios, sino precisamente en el de la lectura automática. Esta distinción es esencial¹¹.

El soporte digital y lo sensible

Si lo digital propone puentes más fluidos entre el sonido y la imagen, puentes que aprovecha Entwining of Lost Souls, ¿fusiona realmente las categorías del arte? Nada es menos seguro, pues ello debe evaluarse en el plano sensible, donde sonido e imagen siguen siendo lo que siempre han sido, incluso en digital. Desde un punto de vista perceptivo —lo que nos llega—, lo visual y lo sonoro siguen expresándose de manera clásica, como en lo analógico: percibimos la imagen con nuestros ojos, gracias a una señal visual —luz informada—, mientras que el sonido es captado por nuestro oído, gracias a una señal que adopta la forma de ondas de presión en el aire. Debemos a Lev Manovich una distinción, que ya hemos mencionado, y que nos ayuda una vez más a aclarar la reflexión en este punto. En efecto, en digital, sonido e imagen comparten un mismo origen en el nivel de lo que Manovich llama la capa informática (computer layer), mientras que en el nivel de la salida, sonido e imagen se manifiestan en sus registros clásicos: el espectador los percibe y los interpreta en el seno de lo que Manovich designa como capa cultural (cultural layer). Esta distinción, con toda su simplicidad, aclara enormemente el funcionamiento de los ordenadores y permite matizar, precisándolos, los discursos que pretenden «homogeneizarlo todo» cuando se trata de lo digital. La obra de Le Boggit, al hacer dialogar de forma íntima sonido e imagen, hace sensible su origen «genético» común, a la vez que pone de relieve las cualidades expresivas propias de cada uno de estos dos registros fundamentales.

Entwining of Lost Souls nos ayuda a delimitar con exactitud, en el seno de la capa informática, la entidad correlativa a un objeto sensible (sonido, imagen, texto) que se manifiesta en la capa cultural. En efecto, no basta con limitarse a los datos específicos de cada objeto¹²: si queremos delimitar la «instancia activa» del objeto sensible (sonido o imagen), es necesario tener en cuenta también el componente algorítmico que «lee» esos datos. De manera esquemática, podría decirse que las huellas (datos), específicas de cada objeto sensible, son leídas por una señal ya formateada —preformateada— por un algoritmo de lectura, que difiere según se trate de un programa de lectura de sonido o de restitución de las imágenes digitales.

La electricidad como material

De manera más fundamental, esta obra de Le Boggit contribuye a ilustrar los puntos ciegos de los discursos que pretenden nivelar todos los medios en el seno de lo digital, hacerlos equivalentes. Estos discursos de ambiciones ontológicas pretenden acercar los objetos sensibles al lenguaje humano y, por esa vía, envolverlos en un aire inmaterial y trascendente. Entwining of Lost Souls da testimonio de que, a la luz del hacer artístico, el funcionamiento de lo digital se aclara de manera natural y el dominio material interno de la imagen digital se desvela. Por otra parte, todo artista sabe —aunque nunca lo confesaría— que todo arte es arte de algo¹³.

Entwining of Lost Souls revela, en definitiva, la capacidad inédita de lo digital para reorientar los flujos de energía de manera extremadamente compleja pero controlada, y eso es precisamente lo que hacen los algoritmos. Presentados a menudo como series de instrucciones surgidas del «lenguaje», ganamos al aprehenderlos como un conjunto muy sofisticado capaz de dividir, dirigir, combinar y organizar un flujo eléctrico indiferenciado que entra en el ordenador por el cable de alimentación. Stricto sensu, y pese a toda su complejidad, los ordenadores no hacen otra cosa. Una parte de la energía eléctrica se transforma en luz en las celdas de visualización de las pantallas; otra parte se transforma en sonido en las membranas de los altavoces o de los auriculares. En pintura, hubo un tiempo en que resultó útil recordar, con Maurice Denis, que un cuadro es ante todo «una superficie plana cubierta de colores reunidos en cierto orden¹⁴». Del mismo modo, en digital, quizá haya llegado el momento de reconocer que un ordenador es ante todo un dispositivo extremadamente sofisticado que logra tratar una señal eléctrica de manera muy elaborada. Entwining of Lost Souls se construyó aprovechando esta característica fundamental de los ordenadores.

Cuando la señal eléctrica interactúa con las huellas, incluso cuando las produce, queda informada por ellas. El código que pone en marcha Le Boggit produce huellas —datos— que pueden leerse a la vez como sonido y como imagen. Una señal concebida para leer un sonido puede dirigirse hacia la lectura de los datos pertenecientes a una imagen, y viceversa, lo que logra establecer muy concretamente un puente medial. Siendo los datos idénticos, la naturaleza de la forma producida dependerá de la de la señal que interpreta esas huellas.

Es en el plano de estos flujos eléctricos hiperrápidos, informados por la microestructura del soporte, donde conviene buscar el verdadero modo de existencia de la tecnología digital. Para que los usuarios puedan controlarlos, estos flujos y estas huellas se transponen en forma de códigos —o de interfaces— y de datos: flujos y huellas quedan «mediados». El gesto de Le Boggit, que pasa por el algoritmo, parece alcanzar el sustrato fundamental del funcionamiento del ordenador al transformar la verdadera sustancia de la imagen digital. Es en este nivel donde interviene también Jacques Perconte, artista que utiliza herramientas construidas mediante desvíos de los códecs de compresión, pero que, sobre todo, compone con ellas a partir de la fibra primera de la imagen digital. Bajo la égida del artista, y más acá de las palabras, la imagen se pone a respirar y enseguida a narrar. Ello, mediante la modulación de una plasticidad magmática que parece atravesar todas las capas de mediación para ofrecerse directamente a la sensibilidad humana.

1. Del mismo modo, la mayoría de los archivos pueden abrirse como archivos de texto, aunque este resulte a menudo incomprensible para el eventual lector. Este principio opera en uno de los efectos más populares, el WordPad Effect, que consiste en abrir un archivo de imagen con el editor de texto WordPad y guardarlo tras modificar los datos codificados de la imagen, que WordPad muestra en forma de caracteres ASCII. Al término de esta operación, la imagen quedará «glitcheada». Véase a este respecto http://blog.animalswithinanimals.com/2008/08/databending-and-glitch-art-primer-part.html visitado el 17 de septiembre de 2024.↩︎

2. Véase por ejemplo la obra de Nicolas Maigret Flat Earth Society (2008), en la que se grabó un disco de vinilo de manera que dejara entrever una imagen del globo terrestre. Sitio web de la obra: http://peripheriques.free.fr/blog/index.php?/works/2008-earthtodisk/, visitado el 17 de septiembre de 2024.↩︎

3. Véase por ejemplo el blog datamoshing.com.↩︎

4. Otro efecto similar consiste en abrir un archivo de imagen (por ejemplo, un .bmp) con Audacity, un programa de tratamiento de sonido, para guardarlo después de haberlo modificado.↩︎

5. Véase la entrevista al artista con motivo de su exposición en la Fabrica Gallery, Reino Unido, en 2021. Enlace web: https://www.youtube.com/watch?v=tn-K5q1d8Gs, consultado el 22 de julio de 2024.↩︎

6. Ibid.↩︎

7. El cineasta experimental británico Malcolm Le Grice (1940-2024) se interesó por este tipo de generación simultánea en su película Heads I win, tails you lose (1984). Gracias a un programa escrito por el propio artista, construye un collage dinámico en el que sonido e imagen se entrelazan orgánicamente.↩︎

8. Véase a este respecto la descripción de la obra en el sitio web del artista: «Dúo para viola compuesto algorítmicamente, acompañado de un vídeo de animación CGI abstracto generado a partir del mismo conjunto de datos que la música». Enlace web: https://quantumsouporchestra.weebly.com/ consultado el 22 de julio de 2024.↩︎

9. Fred Forest, «Esthétique du numérique : rupture et continuité: ». L’Observatoire [en ligne]. diciembre 2010, vol. Hors-série 3, n° 3, p. 10-16.↩︎

10. Veremos, en el capítulo 3, la necesidad de establecer una separación nítida entre, por una parte, el lenguaje humano y, por otra, lo que se llama lenguaje máquina.↩︎

11. La distinción entre el programa de lectura, por una parte, y los datos almacenados, por otra, nos ayudará a describir mejor la imagen digital en relación con su condicionamiento material, en el capítulo 4 (ontología procesual, no esencialista, de la imagen digital).↩︎

12. Por ejemplo, un archivo .wav para un sonido, un archivo .jpeg para una imagen, etc.↩︎

13. En el extremo, Tino Sehgal trabaja con la voz humana, la lengua, el movimiento y las interacciones, ciertamente, pero con interacciones entre elementos concretos.↩︎

14. Jacques-Émile Blanche, Propos de peintre. Paris : Editions Séguier, 2013, préface, p. XXXII.↩︎