Sky Semantics (2023)

À l’origine de Sky Semantics, il y avait l’envie de voir ce dont la machine était capable, à son tour, de percevoir. Bien que nous soyons désormais habitués aux exploits technologiques de l’IA, cette nouvelle compétence « opérationnelle » déployée sur le plan de l’image numérique ne m’a pas semblé anodine. Lors de la conception de Postdigital flipbook, comme déjà mentionné, le fait que l’ordinateur soit capable d’identifier comme visage humain un visage qui lui est montré pour la première fois m’avait profondément interpellé. À plus forte raison, j’ai été très impressionné par les réseaux de segmentation sémantique – semantic segmentation – des images. Ces intelligences artificielles, qui ont fait l’objet d’efforts colossaux dans la course à la conduite autonome des véhicules – mais certainement aussi dans celle pour l’automatisation de la guerre – sont capables de détecter, sur une image animée, non seulement la présence d’un grand nombre d’éléments distincts¹, mais également d’en délimiter avec précision les contours, y compris lorsque ces objets sont en mouvement.

La méthode analytique ayant échoué face à ce type de tâche complexe, une amélioration notable a émergé du travail expérimental des ingénieurs, qui ont mis au point l’entraînement profond des réseaux de neurones – le deep learning – processus reposant sur un volume colossal de données². Le fait que ce type de technologie existe et fonctionne de manière efficace constitue une expression concrète de l’ampleur du big data, qui déborde notre capacité d’appréhension³.

Si la machine est désormais capable de « percevoir », se pose la question du potentiel et des spécificités de cette nouvelle compétence mécanique. Nous connaissons la tendance humaine à trouver des formes dans la nature, tendance qui repose sur une grande capacité à idéaliser les formes perçues, à les schématiser, pour en tirer des figures génériques — pour un enfant en bas âge, qui parle à peine, une pince à linge devient très rapidement un crocodile. De quoi donc la machine est-elle capable, à ce sujet ? Il y a, probablement, un spectacle de formes fugaces, qui apparaissent et disparaissent dans la matière du monde, sans que personne ne les ait jamais vues, du fait de leur temporalité extrêmement rapide, ou de leur échelle trop petite ou trop vaste.

Des questionnements de ce type ont motivé cette expérience, en résonance avec d’autres — plus ou moins scientifiques, plus ou moins ésotériques — entamées depuis toujours autour des technologies de vision nouvellement inventées, comprises comme des instruments prolongeant les capacités visuelles dont la nature a doté l’humain. Vient à l’esprit le choc du moment où la photographie, vers la fin du XIXᵉ siècle, a été en mesure de geler le mouvement — possibilité exploitée esthétiquement par des photographes comme Jacques Henri Lartigue et scientifiquement par Étienne-Jules Marey, qui, au moyen de la chronophotographie, s’attacha à étudier le mouvement du vivant. Certains ont vu d’un mauvais œil cette décomposition photographique — mécanique — de l’espace-temps. C’est le cas des frères Bragaglia qui, dans un registre plus ésotérique — bien qu’ils critiquassent la croyance dans les fantômes⁴ — cherchaient à représenter l’expression réelle du mouvement. Grâce à des temps de pose suffisamment longs, les Bragaglia captaient des mouvements mis en scène pour retrouver, sur la surface du tirage photographique, des formes issues des éléments en déplacement, celles-ci comprises comme des manifestations visuelles de l’élan vital bergsonien⁵.

Les envies de voir à l’origine de Sky Semantics répondaient moins à une forme d’ésotérisme qu’à l’expression d’une attitude ludique, qui cherchait à se surprendre de ce qui résulterait de la déconnexion du réseau de neurones de son environnement visuel naturel — des vues urbaines associées à la circulation véhiculaire — pour le connecter à une partie du réel en dehors de son environnement de conception, notamment des images issues de la nature.

Après avoir découvert Bachelard — que je ne connaissais pas à l’époque — je peux dire maintenant que l’expérience mettait à l’épreuve l’existence — un peu fantasmée — d’une forme d’imagination matérielle au sein de la machine. Car c’est surtout par rapport à l’humain que Bachelard propose, en complément de l’imagination formelle, une imagination qui saisit des images à partir des formes issues de la matière. Ces images « ont un poids⁶ », elles sont le résultat d’une « joie dynamique [qui] les pétrit, les allège⁷ », et si c’est à partir de la vue que l’humain nomme ces images-matière, « la main les connaît⁸ » déjà.

Afin de voir si la machine pouvait entrer en contact avec cette dynamique à l’œuvre dans la matière, des tests ont été conduits sur des paysages naturels : le mouvement des feuilles sous le vent en forêt, le mouvement de l’eau, et le mouvement des nuages. Ce dernier s’est présenté comme le plus prometteur, ce qui me convenait parfaitement. En effet, on ne pourrait pas décrire complètement le germe⁹ à l’origine de ce projet sans évoquer des envies de voir, tout simplement, des images de nuages en noir et blanc, en caméra accélérée, après un traitement accentué du contraste, cherchant à provoquer un effet dramatique, à activer dans l’image une forme de sublime.

Le travail concret avec ces matérialités – celle des images, celle des nuages, celle du réseau de neurones – déplaçait la visée initiale de l’œuvre. Tout d’abord, il s’est avéré nécessaire de relâcher la précision du réseau de neurones de segmentation sémantique, afin d’augmenter la fréquence et le nombre de formes identifiées. Alors, le réseau de neurones a commencé à identifier et à délimiter une grande quantité de formes, associées à des objets divers, même si leur détection restait incertaine. À partir de ce moment, l’image a commencé à s’exprimer.

Certaines formes étaient signalées par le réseau de neurones de manière fréquente, mais selon des durées extrêmement courtes. Parfois, le réseau – désormais déréglé – identifiait des objets associés à des formes qui s’étendaient sur une bonne partie du cadre, apparaissant et disparaissant très rapidement, ou bien surgissant de façon intermittente. Le tout contribuait à faire émerger, sur ces nuages dramatiques en évolution progressive, des clignotements plus ou moins étendus qui ressemblaient à des éclairs.

Le cadre, à ce moment, était devenu le lieu où s’exprimaient des dialectiques diverses. D’une part, il y avait un niveau d’image qui évoluait en résonance avec un flux de conscience humain : des images de nuages modulées dans l’espace-temps au moyen d’un travail d’édition sensible. Ces images – apprêtées par l’humain – se voyaient toutefois heurtées par les manifestations du réseau de neurones, qui renseignait certes sur des formes qui, autrement, n’auraient pas pu être aperçues, mais ce faisant, il mettait en suspens le libre cours de toute imagination – matérielle – humaine. L’image semblait vouloir signaler l’impossibilité d’une imagination-perception (imagination matérielle) où convergeraient l’humain et la machine, comme si un choix s’imposait : soit en faveur d’une perception complètement humaine, soit complètement machinique.

Ces deux types de perception, dont les origines et les effets se montraient très différents, signaient l’image plus fondamentalement comme lieu d’affrontement entre deux temporalités, elles aussi diamétralement opposées : la temporalité humaine, d’une part, continue et progressive ; heurtée, d’autre part, par une temporalité machinique, discontinue et disruptive.

Autrement dit, de Sky Semantics se dégage l’idée que l’imagination matérielle évoquée par Bachelard – et probablement l’imagination tout court et avec elle la perception – n’est pas une faculté extériorisable depuis l’humain vers la machine.

L’image était également devenue l’expression d’une ironie. En effet, d’une part, il était question d’une machine qui n’avait conquis sa capacité de « voir » qu’à partir d’une dépense énorme de ressources énergétiques, associée à des infrastructures matérielles très conséquentes, mobilisées pendant de longs temps lors de l’entraînement profond des réseaux de neurones. Or, cette capacité perceptive machinique se trouvait ici dirigée vers les nuages – les clouds – ces derniers étant l’objet d’une métaphore trompeuse, insoutenable de nos jours, qui cherche à associer l’industrie numérique à une forme de légèreté aérienne, presque immatérielle.

D’une façon plus fondamentale, l’œuvre semble faire sens par rapport à une forme d’appréhension du monde, qui mériterait d’être envisagée moins à partir des apports provenant d’un « dehors » – transcendant – qu’en lien avec des processus ayant lieu ici, parmi nous, de façon très concrète, bien que pas toujours à la portée de notre appareil perceptif et/ou cognitif. Sous cette perspective immanente, il s’agirait de songer à la naissance des formes à partir de la matière ; mais celles-ci n’auraient pas pour seul objectif celui de déclencher l’activité d’une imagination matérielle, comme celle évoquée par Bachelard. Il s’agirait, plus encore, de considérer la naissance très concrète des formes, des objets, mais surtout – et à l’encontre de la tradition platonicienne dans laquelle nous baignons – celle des symboles, des codes, dont il conviendrait de concevoir la genèse en dehors de toute transcendance, à partir de l’activité génératrice issue des interactions entre matière(s) et énergie(s).

Dit autrement, de l’œuvre peut émerger non pas l’idée d’une dématérialisation du monde au travers du numérique, mais, au contraire, celle d’une rematérialisation complète et radicale – y compris du symbolique et du spirituel – qu’il faudrait réévaluer à nouveaux frais à partir de leur genèse et de leur mode d’existence immanent.

1. Le système utilisé est capable d’identifier dans une image 80 types d’objets : avion, ballon de sport, banane, banc, batte de baseball, beignet, bicyclette, bol, borne d’incendie, bouteille, brocoli, brosse à dents, canapé, carotte, cerf-volant, chaise, cheval, chat, chien, clavier, couteau, cuillère, éléphant, évier, feu tricolore, four, fourchette, frisbee, gant de baseball, gâteau, girafe, grille-pain, horloge, hot-dog, lit, livre, micro-ondes, moto, mouton, nounours, ordinateur portable, orange, ours, oiseau, parcmètre, parapluie, personne, pizza, plante en pot, planche de surf, pomme, portable (téléphone), raquette de tennis, réfrigérateur, sac à dos, sac à main, sandwich, skateboard, skis, souris, tasse, télécommande, téléphone portable, télévision, table à manger, toilettes, train, valise, vase, vache, verre à vin, voiture et zèbre. Voir le github du réseau de neurones implémenté: https://github.com/ayoolaolafenwa/PixelLib/blob/master/Tutorials/Pytorch_image_instance_segmentation.md.↩︎

2. Pour une revue de cette technologie, voir : Farhad Mortezapour Shiri Thinagaran Perumal Norwati Mustapha et al., A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU [en ligne]. arXiv, 2023.↩︎

3. Dans une tentative de rendre sensible le volume d’images brassé par notre civilisation à travers les machines, l’artiste nord-américain Evan Roth a entièrement recouvert les très hauts murs de l’immense hall du Jeu de Paume à Paris avec son œuvre Since you were born (2021), lors de l’exposition Le supermarché des images, commissariée par Peter Szendy en 2020. Il ne s’agissait que d’images stockées dans la mémoire cache de son navigateur web, c’est-à-dire une fraction minuscule du big data.↩︎

4. Voir Giovanni Lista, «Les Frères Anton Giulio et Arturo Bragaglia: Inventeurs du photo-dynamisme futuriste ». Ligeia [en ligne]. septembre 2020, vol. N° 181-184, n° 2, p. 22‑29.↩︎

5. Ibid.↩︎

6. Gaston Bachelard, L’eau et les rêves, op. cit., p. 8↩︎

7. Ibid.↩︎

8. Ibid.↩︎

9. Nous verrons, avec Simondon, qu’on peut penser à l’intention à l’origine d’un projet artistique en tant qu’une intention-image, que le philosophe problématise dans le cadre de l’invention technique, mais qui reste valable lorsqu’on pense à la création artistique.↩︎