Hipercollages, algoritmo y big data

Cory Arcangel, nacido en 1978, es una figura destacada del arte digital en Estados Unidos. Entre sus proyectos, hay varios que ilustran las estrategias abordadas en la sección anterior, en las que la producción de formas deriva de los fallos de funcionamiento, espontáneos o provocados, de los medios tecnológicos. Su obra Super Mario Clouds (2002), por ejemplo, con la que Arcangel alcanzó notoriedad, resulta de la modificación de un cartucho del juego Mario Brothers, en el que el artista borró todos los elementos del juego excepto el fondo animado, compuesto de nubes que recorren la pantalla de derecha a izquierda¹. Podríamos evocar también Self Playing Sony Playstation I Bowling (2008), en la que Arcangel no altera el cartucho de un juego de bolos para Playstation, sino el mando de la propia consola, de modo que el personaje del juego juega en bucle, lanzando sistemáticamente la bola a los canales que delimitan la pista de bolos².

La proeza algorítmica

Sin embargo, la obra de Cory Arcangel que nos interesa particularmente en el marco de esta investigación no resulta de un fallo de funcionamiento ni de un desvío tecnológico. Se trata de la obra en vídeo Paganini Caprice No. 5, realizada por el artista en 2011 con ayuda de un pequeño ejército de programas³, combinado con algoritmos concebidos por el propio artista, sin que pueda discernirse en su proceso de creación un desvío del funcionamiento por defecto del ordenador.

En este vídeo de 3m41s, Arcangel recrea una de las piezas más célebres del violinista virtuoso Niccolò Paganini (1782-1840) mediante una sucesión de varios centenares de secuencias de vídeo muy cortas —de una duración muy inferior al segundo en su mayoría— extraídas de tutoriales de guitarra eléctrica como los que se encuentran por millones en la red. Así, cada nota del Caprice No. 5 corresponde, en el vídeo, a una secuencia de la misma duración, en el momento preciso en que un guitarrista —a menudo aficionado— toca la misma nota en su tutorial.

Este proceso de búsqueda de vídeos, de caracterización (en función de las notas tocadas) y de ensamblaje (según el modelo de la pieza de Paganini) desemboca, en el plano sonoro, en una restitución bastante reconocible de la composición original: en efecto, el timbre de la guitarra eléctrica, e incluso el vibrato en las notas tenidas, se aproximan a algunas interpretaciones de la obra de Paganini al violín. El registro visual, en cambio, adolece de falta de legibilidad: está constituido por una sucesión hiperrápida de secuencias cuya brevedad dificulta su aprehensión, sobre todo en las notas más cortas.

Desde el principio, el vídeo se presenta así desequilibrado, con un registro sonoro «coherente», compuesto por los intervalos ascendentes y descendentes de la melodía, superpuesto a un registro visual entrecortado y disruptivo cercano al flickering, surgido de un montaje maquínico, no humano⁴. Por momentos, sin embargo, los registros visual y sonoro parecen confluir cuando, por una parte, emerge de la sucesión de microsecuencias una continuidad gestual en las manos de los guitarristas, mientras que, por otra, la melodía en la menor evoluciona hacia una sucesión de intervalos irresueltos y vertiginosos de notas intermedias.

Si X entonces Y (Presentir el medio)

Aunque el artista sea presentado como «posconceptual⁵», su obra refleja más bien una práctica anclada en la experimentación, en la que el artista despliega un saber hacer informático nada desdeñable. Es importante señalar también que, entre los pilares de su carrera, Arcangel reconoce el contacto con artistas de vídeo experimental en su ciudad natal, Buffalo, donde cursó estudios artísticos⁶. Así, en Paganini Caprice No. 5, la estrategia del artista parece cercana al enfoque «what if?», es decir, cuando un artista desea conocer el resultado de una acción sobre lo real, acción a menudo insólita, pero en la que presiente un potencial formal. Encontramos este enfoque en el origen del vídeo Around & About (1980), de Gary Hill, uno de los artistas que enseñaron en la Universidad de Buffalo. Hill realiza Around & About a partir de un texto introspectivo, cuya lectura va acompañada de fotografías de su despacho en la universidad, a razón de una imagen por sílaba⁷.

Con Paganini Caprice No. 5, Arcangel parece ir más allá de la estrategia «what if?», transformando la pregunta en una implicación condicional «If […] then […]» («Si […] entonces […]»): si la iconosfera (parte visual del big data) es tan vasta y densa, entonces debería ser posible reproducir una canción, incluso muy compleja, ensamblando fragmentos de vídeo que habrá que buscar y tratar, pero que forzosamente deben de estar disponibles en internet. El artista lo consigue concibiendo y poniendo en marcha procedimientos algorítmicos dedicados⁸, haciendo así perceptible el colosal volumen de imágenes disponibles en línea.

Una obra de este tipo, surgida de un proceso masivo de búsqueda, recorte y repegado, debe su espesor menos a su expresión sensible (la imagen y el sonido percibidos por el espectador) que a su propio proceso de creación y sus implicaciones. En efecto, Caprice No. 5 solo es concebible gracias a la inmensa cantidad de vídeos de este género (tutoriales y versiones producidas por guitarristas aficionados en sus casas) disponibles en línea⁹. Así, la obra no puede captarse plenamente sin reconocer un gesto artístico que anticipa intuitivamente, y explota, las nuevas posibilidades que ofrece el medio: la potencia de los algoritmos, el estado y la evolución de internet, así como la tendencia totalizadora del big data.

Una red de imágenes

A la luz de Paganini Caprice No. 5, la imagen digital aparece, por una parte, caracterizada por una plasticidad que solo puede alcanzarse por medios algorítmicos y, por otra, inscrita en su entorno natural: conectada en red a millones de otras imágenes, en el seno de una gigantesca base de datos colectiva —el big data de la humanidad— que no deja de ensancharse y densificarse, rozando así la continuidad formal¹⁰. Si la imagen digital se nos aparecerá, a través del prisma del trabajo de Jean-Michel Rolland, cohabitando con sus reflejos deformados y sus fantasmas, la obra de Arcangel la revela en su interconexión natural con un vasto universo de otras imágenes. Estas imágenes interactúan y se transforman de manera fecunda, en particular cuando se convierten en la materia prima del algoritmo, dirigido por la intención artística consciente de su medio, que a su vez se ve interrogado.

Ciertamente, habría aspectos que considerar movilizando las «estéticas de la base de datos¹¹». Ahora bien, estas se basan en la idea de la base de datos como unidad fundamental de un real que tiende a pensarse en el plano simbólico, último recurso de un enfoque de lo digital que falta a su cita con el condicionamiento concreto, material, del medio.

La intencionalidad —aquí la de Arcangel— que escruta el medio sopesando su potencial creativo no lo hace en absoluto sobre una base simbólica, según la cual, en una base de datos, todo dato puede estar presente o ausente, y todos los datos pueden relacionarse entre sí de manera infinita. Al contrario, la ponderación que capta la posibilidad del gesto creador sabe que ese gesto debe acotarse en su posibilidad real, es decir, en la plausibilidad algorítmica y en los recursos computacionales disponibles. Simétricamente, el medio se escruta sin descuidar el aspecto afectivo, el apego o la indiferencia del ser humano respecto de ciertos tipos de imágenes, que determinan finalmente su presencia masiva o su ausencia relativa en el sistema.

En consecuencia, la estructura surgida del algoritmo, movilizado a su vez por el gesto del artista, engendra un vídeo experimental, ciertamente, pero ha de aprehenderse también en relación con su fisicalidad: como un excedente de conectividad —física (técnica) y, por tanto, sensible— construido entre imágenes.

Cine, televisión, internet. Lo humano zarandeado.

Al ampliar la reflexión suscitada por esta obra de Arcangel, que pone en escena la imagen digital en red, se distingue un rasgo común a nuestra época. Se trata de la interiorización bastante rápida —la naturalización— de las nuevas modalidades tecnológicas de representación y de visión a distancia, surgidas de la mayor interconexión alcanzada con internet. En ello, internet prolonga sin duda los efectos de las revoluciones tecnológicas que lo precedieron en materia de imágenes: el cine y la televisión. En efecto, como nos indica Manovich¹² apoyándose en Walter Benjamin y Paul Virilio, el cine (según Benjamin) y la transmisión de las imágenes (según Virilio) contribuyen a «comprimir» el tiempo y el espacio, lo que conlleva nada menos que una transformación de la propia naturaleza humana.

En nuestro marco de pensamiento, en el que lo humano y la tecnología coevolucionan anudados por una relación transductiva, interpretamos los efectos del cine y de la televisión como un desplazamiento de esta relación: la aparición del cine y la fluidificación de la transmisión de las imágenes materializan nuevas estructuraciones tecnológicas que, a su vez, condicionan la evolución subsiguiente de la estructuración humana del espacio-tiempo. Si la imagen en movimiento (el cine), seguida de la cámara móvil¹³, y después la transmisión de las imágenes televisivas indujeron una mutación en la aprehensión del tiempo y del espacio por el ser humano, esta obra de Arcangel hace tangible la prolongación de esa tendencia en la que lo humano y la tecnología se coestructuran mutuamente. Hace eco a la formación en curso de un inmenso archivo mundial de imágenes, el big data, que constituye el sustrato y la condición de posibilidad de la inteligencia artificial generativa, próximo hito al que la dialéctica humano-máquina deberá acomodarse.

Así, es aprovechando el big data, especificidad del medio digital, como Arcangel construye Paganini Caprice No. 5. En el seno del big data, las imágenes —al igual que los textos, los sonidos y los códigos— están puestas en red, es decir, son accesibles desde innumerables puntos de entrada, pero también están interconectadas de maneras múltiples y diversas. El artista crea su obra estructurando una nueva forma de interconexión: flujos audiovisuales que se encadenan según un motivo preexistente, las notas de la obra de Paganini.

Antes de Arcangel, cuyo gesto estructura un «excedente de red», se trató de captar cómo Biermann produce su obra mediante el establecimiento de un nuevo nivel plástico, en el que la imaginería de Hollywood se reensambla algorítmicamente. Por último, antes de Biermann, vimos cómo Menkman estructura su obra mediante la producción de un excedente narrativo. Estas tres obras parecen actuar, como se ha mencionado, fuera de las imágenes mismas, prolongando estructuras simbólicas —discursivas—, plásticas o técnicas surgidas de la red.

Es hora de explorar gestos que generan estructuras en el interior de la imagen, en un recorrido que pone de relieve una imagen estratificada, compuesta de capas activas que se superponen unas a otras. Estas imágenes se presentan según una estructura fácilmente aprehensible, pero tras esta aparente sencillez se oculta un universo infinito —o casi— de formas posibles.

1. El artista puso a disposición en la plataforma GitHub el código que le permite efectuar este desvío, dando muestra así de su adhesión a los principios de intercambio de conocimientos y métodos característicos de la comunidad Open Source.↩︎

2. Arcangel modificó el mando de la Playstation grapándole una extensión de circuito improvisada, intervención que prolonga la práctica del circuit bending. Esta, popularizada por artistas como Reed Ghazala (1953-), consiste en manipular los circuitos electrónicos de dispositivos sencillos, a menudo juguetes que emiten luces y sonidos, para generar efectos imprevistos. El circuit bending puede verse como una versión «en duro» de la escritura y la ejecución de un algoritmo, asociado este a la modificación temporal de un circuito electrónico «plástico». El circuit-bending hace tangible la filiación gestual de los algoritmos.↩︎

3. Los programas utilizados son: ffmpeg, sox, g++ y MAX/MSP.↩︎

4. El montaje en esta obra no resulta de una decisión sensible basada en las imágenes, sino que sigue mecánicamente la sucesión de las notas de la melodía de Paganini.↩︎

5. Página del artista en el Whitney Museum of American Art. Enlace web: https://whitney.org/artists/8339 visitado el 28 de agosto de 2024.↩︎

6. Arcangel indica haber sido alumno de artistas de vídeo y de cine experimental, en particular Steina y Woody Vasulka, instalados en Buffalo tras dejar Nueva York. Véase a este respecto la entrevista al artista con motivo de su exposición en la Lisson Gallery de Londres. Sitio web: https://www.youtube.com/watch?v=u7keMVNTTCs, consultado el 28 de agosto de 2024.↩︎

7. El vídeo, disponible en el sitio web del artista, explota, al mismo tiempo que revela, las inmensas posibilidades de variación que se presentan en la captura y la restitución de las imágenes. En efecto, Gary Hill explora en profundidad cambios de punto de vista, de encuadre y de enfoque durante la captura, mientras que las imágenes se restituyen reencuadradas y reposicionadas en la pantalla de maneras extremadamente variadas. Enlace web de la obra: https://garyhill.com/work/video/around-about.html, consultado el 29 de septiembre de 2024.↩︎

8. Un principio de este tipo actúa también en Postdigital Flipbook: «si en internet hay tal volumen de fotografías de rostros, entonces debería ser posible, mediante la sucesión de imágenes lo bastante próximas, crear algo semejante a una animación».↩︎

9. Arcangel ya había producido en 2009 una obra muy similar, aprovechando otro tipo de vídeos que proliferan en internet. En Arnold Schoenberg, op. 11 - I - Cute Kittens, Arcangel recompone una pieza de Schoenberg a partir del encadenamiento de centenares de microsecuencias extraídas de vídeos de gatos caminando sobre teclados de piano.↩︎

10. Esto explica el comportamiento casi mágico de las redes neuronales generativas, cuya eficacia descansa en interpolaciones a través de inmensos «data sets» hiperdensos.↩︎

11. Estas se precisarán más adelante, en los párrafos que buscarán pensar estas obras estructurantes en su conjunto.↩︎

12. Lev Manovich, The language of new media, op. cit., p. 170-175.↩︎

13. Tal como la puso magistralmente en escena Dziga Vertov en su icónica película de 1929, El hombre de la cámara.↩︎