Sky Semantics (2023)

En el origen de Sky Semantics estaba el deseo de ver qué era capaz de percibir, a su vez, la máquina. Aunque ya estemos acostumbrados a las proezas tecnológicas de la IA, esta nueva competencia «operativa» desplegada en el plano de la imagen digital no me pareció anodina. Durante la concepción de Postdigital flipbook, como ya se ha mencionado, el hecho de que el ordenador fuera capaz de identificar como rostro humano un rostro que se le mostraba por primera vez me había interpelado profundamente. Con mayor razón, me impresionaron mucho las redes de segmentación semántica de las imágenes —semantic segmentation—. Estas inteligencias artificiales, que han sido objeto de esfuerzos colosales en la carrera por la conducción autónoma de vehículos —pero sin duda también en la carrera por la automatización de la guerra—, son capaces de detectar en una imagen animada no solo la presencia de un gran número de elementos distintos¹, sino también de delimitar con precisión sus contornos, incluso cuando esos objetos están en movimiento.

Como el método analítico había fracasado ante este tipo de tarea compleja, surgió una mejora notable del trabajo experimental de los ingenieros, que pusieron a punto el entrenamiento profundo de las redes neuronales —el deep learning—, un proceso que se apoya en un volumen colosal de datos². El hecho de que este tipo de tecnología exista y funcione de manera eficaz constituye una expresión concreta de la magnitud del big data, que desborda nuestra capacidad de aprehensión³.

Si la máquina es ya capaz de «percibir», se plantea la cuestión del potencial y de las especificidades de esta nueva competencia mecánica. Conocemos la tendencia humana a encontrar formas en la naturaleza, tendencia que descansa en una gran capacidad para idealizar las formas percibidas, para esquematizarlas, con el fin de extraer de ellas figuras genéricas —para un niño de corta edad, que apenas habla, una pinza de la ropa se convierte muy rápidamente en un cocodrilo—. ¿De qué es capaz, entonces, la máquina a este respecto? Hay, probablemente, un espectáculo de formas fugaces, que aparecen y desaparecen en la materia del mundo, sin que nadie las haya visto nunca, debido a su temporalidad extremadamente rápida o a su escala demasiado pequeña o demasiado vasta.

Interrogantes de este tipo motivaron esta experiencia, en resonancia con otras —más o menos científicas, más o menos esotéricas— emprendidas desde siempre en torno a las tecnologías de visión recién inventadas, entendidas como instrumentos que prolongan las capacidades visuales con las que la naturaleza ha dotado al ser humano. Viene a la mente el choque del momento en que la fotografía, hacia finales del siglo XIX, fue capaz de congelar el movimiento —posibilidad explotada estéticamente por fotógrafos como Jacques Henri Lartigue y científicamente por Étienne-Jules Marey, quien, por medio de la cronofotografía, se dedicó a estudiar el movimiento de lo vivo—. Algunos vieron con malos ojos esta descomposición fotográfica —mecánica— del espacio-tiempo. Es el caso de los hermanos Bragaglia, que, en un registro más esotérico —aunque criticaban la creencia en los fantasmas⁴—, buscaban representar la expresión real del movimiento. Gracias a tiempos de exposición lo bastante largos, los Bragaglia captaban movimientos escenificados para recuperar, sobre la superficie de la copia fotográfica, formas surgidas de los elementos en desplazamiento, entendidas como manifestaciones visuales del impulso vital bergsoniano⁵.

Los deseos de ver que estaban en el origen de Sky Semantics respondían menos a una forma de esoterismo que a la expresión de una actitud lúdica, que buscaba sorprenderse de lo que resultaría de desconectar la red neuronal de su entorno visual natural —vistas urbanas asociadas a la circulación de vehículos— para conectarla a una parte de lo real ajena a su entorno de concepción, en particular imágenes procedentes de la naturaleza.

Tras haber descubierto a Bachelard —a quien no conocía en aquella época—, puedo decir ahora que la experiencia ponía a prueba la existencia —un tanto fantaseada— de una forma de imaginación material en el seno de la máquina. Pues es sobre todo con respecto al ser humano como Bachelard propone, como complemento de la imaginación formal, una imaginación que capta imágenes a partir de las formas surgidas de la materia. Estas imágenes «tienen un peso⁶», son el resultado de una «alegría dinámica [que] las amasa, las aligera⁷», y si es a partir de la vista como el ser humano nombra estas imágenes-materia, «la mano las conoce⁸» ya.

Para ver si la máquina podía entrar en contacto con esta dinámica que actúa en la materia, se realizaron pruebas con paisajes naturales: el movimiento de las hojas bajo el viento en el bosque, el movimiento del agua y el movimiento de las nubes. Este último se presentó como el más prometedor, lo cual me convenía perfectamente. En efecto, no podría describirse por completo el germen⁹ que está en el origen de este proyecto sin evocar el deseo de ver, simplemente, imágenes de nubes en blanco y negro, a cámara rápida, tras un tratamiento acentuado del contraste, buscando provocar un efecto dramático, activar en la imagen una forma de lo sublime.

El trabajo concreto con estas materialidades —la de las imágenes, la de las nubes, la de la red neuronal— desplazaba el objetivo inicial de la obra. En primer lugar, resultó necesario relajar la precisión de la red neuronal de segmentación semántica, con el fin de aumentar la frecuencia y el número de formas identificadas. Entonces, la red neuronal empezó a identificar y a delimitar una gran cantidad de formas, asociadas a objetos diversos, aunque su detección siguiera siendo incierta. A partir de ese momento, la imagen empezó a expresarse.

Algunas formas eran señaladas por la red neuronal con frecuencia, pero durante lapsos extremadamente cortos. A veces, la red —ya desajustada— identificaba objetos asociados a formas que se extendían sobre buena parte del cuadro, apareciendo y desapareciendo muy rápidamente, o bien surgiendo de forma intermitente. El conjunto contribuía a hacer emerger, sobre esas nubes dramáticas en evolución progresiva, parpadeos más o menos extensos que parecían relámpagos.

El cuadro, en ese momento, se había convertido en el lugar donde se expresaban dialécticas diversas. Por una parte, había un nivel de imagen que evolucionaba en resonancia con un flujo de conciencia humano: imágenes de nubes moduladas en el espacio-tiempo mediante un trabajo de edición sensible. Estas imágenes —preparadas por el ser humano— se veían, sin embargo, golpeadas por las manifestaciones de la red neuronal, que informaba ciertamente sobre formas que, de otro modo, no habrían podido percibirse, pero que, al hacerlo, dejaba en suspenso el libre curso de toda imaginación —material— humana. La imagen parecía querer señalar la imposibilidad de una imaginación-percepción (imaginación material) en la que convergieran el ser humano y la máquina, como si se impusiera una elección: o bien a favor de una percepción completamente humana, o bien completamente maquínica.

Estos dos tipos de percepción, cuyos orígenes y efectos se mostraban muy diferentes, marcaban la imagen, de manera más fundamental, como lugar de enfrentamiento entre dos temporalidades, también diametralmente opuestas: la temporalidad humana, por una parte, continua y progresiva; golpeada, por otra, por una temporalidad maquínica, discontinua y disruptiva.

Dicho de otro modo, de Sky Semantics se desprende la idea de que la imaginación material evocada por Bachelard —y probablemente la imaginación sin más, y con ella la percepción— no es una facultad exteriorizable desde el ser humano hacia la máquina.

La imagen se había convertido también en la expresión de una ironía. En efecto, por una parte, se trataba de una máquina que solo había conquistado su capacidad de «ver» a partir de un gasto enorme de recursos energéticos, asociado a infraestructuras materiales muy considerables, movilizadas durante largos periodos en el entrenamiento profundo de las redes neuronales. Ahora bien, esta capacidad perceptiva maquínica se encontraba aquí dirigida hacia las nubes —los clouds—, objeto de una metáfora engañosa, insostenible hoy en día, que busca asociar la industria digital a una forma de ligereza aérea, casi inmaterial.

De un modo más fundamental, la obra parece cobrar sentido con respecto a una forma de aprehensión del mundo que merecería contemplarse menos a partir de aportaciones procedentes de un «afuera» —trascendente— que en relación con procesos que tienen lugar aquí, entre nosotros, de manera muy concreta, aunque no siempre al alcance de nuestro aparato perceptivo y/o cognitivo. Desde esta perspectiva inmanente, se trataría de pensar en el nacimiento de las formas a partir de la materia; pero estas no tendrían como único objetivo el de desencadenar la actividad de una imaginación material, como la evocada por Bachelard. Se trataría, más aún, de considerar el nacimiento muy concreto de las formas, de los objetos, pero sobre todo —y a contracorriente de la tradición platónica en la que estamos inmersos— el de los símbolos, de los códigos, cuya génesis convendría concebir al margen de toda trascendencia, a partir de la actividad generadora surgida de las interacciones entre materia(s) y energía(s).

Dicho de otro modo, de la obra puede emerger no la idea de una desmaterialización del mundo a través de lo digital, sino, por el contrario, la de una rematerialización completa y radical —incluidos lo simbólico y lo espiritual—, que habría que reevaluar desde cero a partir de su génesis y de su modo de existencia inmanente.

1. El sistema utilizado es capaz de identificar en una imagen 80 tipos de objetos: avión, balón de deporte, plátano, banco, bate de béisbol, rosquilla, bicicleta, cuenco, boca de incendios, botella, brócoli, cepillo de dientes, sofá, zanahoria, cometa, silla, caballo, gato, perro, teclado, cuchillo, cuchara, elefante, fregadero, semáforo, horno, tenedor, frisbi, guante de béisbol, pastel, jirafa, tostadora, reloj, perrito caliente, cama, libro, microondas, moto, oveja, osito de peluche, ordenador portátil, naranja, oso, pájaro, parquímetro, paraguas, persona, pizza, planta en maceta, tabla de surf, manzana, móvil (teléfono), raqueta de tenis, frigorífico, mochila, bolso, sándwich, monopatín, esquís, ratón, taza, mando a distancia, teléfono móvil, televisor, mesa de comedor, inodoro, tren, maleta, jarrón, vaca, copa de vino, coche y cebra. Véase el GitHub de la red neuronal implementada: https://github.com/ayoolaolafenwa/PixelLib/blob/master/Tutorials/Pytorch_image_instance_segmentation.md.↩︎

2. Para una revisión de esta tecnología, véase: Farhad Mortezapour Shiri Thinagaran Perumal Norwati Mustapha et al., A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU [en ligne]. arXiv, 2023.↩︎

3. En un intento de hacer sensible el volumen de imágenes que nuestra civilización mueve a través de las máquinas, el artista estadounidense Evan Roth cubrió por completo los altísimos muros del inmenso vestíbulo del Jeu de Paume de París con su obra Since you were born (2019), durante la exposición Le supermarché des images, comisariada por Peter Szendy en 2020. Se trataba únicamente de imágenes almacenadas en la memoria caché de su navegador web, es decir, una fracción minúscula del big data.↩︎

4. Véase Giovanni Lista, «Les Frères Anton Giulio et Arturo Bragaglia: Inventeurs du photo-dynamisme futuriste ». Ligeia [en ligne]. septiembre 2020, vol. N° 181-184, n° 2, p. 22-29.↩︎

5. Ibid.↩︎

6. Gaston Bachelard, L’eau et les rêves, op. cit., p. 8.↩︎

7. Ibid.↩︎

8. Ibid.↩︎

9. Veremos, con Simondon, que la intención que está en el origen de un proyecto artístico puede pensarse como una intención-imagen, que el filósofo problematiza en el marco de la invención técnica, pero que sigue siendo válida cuando se piensa en la creación artística.↩︎