Postdigital flipbook (2019)

À l’origine de Postdigital Flipbook, il convient d’évoquer la découverte de deux outils algorithmiques que j’avais appris à manier en 2019. Il s’agit, d’une part, d’un réseau de neurones d’IA capable de traiter comme donnée d’entrée une image quelconque et, si celle-ci comporte un visage humain, de fournir en retour un ensemble de 68 points délimitant les traits du visage détecté. D’autre part, j’avais découvert un algorithme permettant de programmer et de lancer un grand nombre de recherches Google, afin d’en extraire automatiquement les résultats, notamment des recherches d’images à partir de mots-clés.

Ces deux outils m’avaient profondément impressionné. Je ne m’imaginais pas qu’un ordinateur pouvait – déjà – détecter la présence d’un visage humain dans une image, et plus encore, qu’un logiciel puisse parvenir à en délimiter les traits avec précision, alors même qu’il « voyait » ce visage pour la première fois¹. J’ai compris que j’avais entre les mains l’outil qui allait être – ou qui était déjà – employé pour la reconnaissance faciale. Par ailleurs, j’ai été étonné de constater qu’il était possible, gratuitement et sans compétences informatiques avancées, de littéralement « balayer » le Web², pour en extraire des images hébergées aux quatre coins du monde.

Avec un tel « pouvoir » technologique entre mes mains – que je pouvais mobiliser malgré mes moyens limités – et conscient de la taille titanesque du big data, je me suis dit que pour une image donnée comportant un visage humain, il devait bien exister quelque part sur Internet une autre image, avec un autre visage, mais dont les traits seraient très proches. Cette deuxième image en aurait une autre, structurellement très proche, et ainsi de suite. En faisant défiler ces images « voisines » les unes après les autres, il devait être possible de fabriquer quelque chose qui ressemble à une animation.

Après de très longues heures de codage et de débogage³, la plupart du temps consacrées à des tentatives d’adaptation, en tâtonnant, des énormes morceaux de code trouvés sur Internet ; un système algorithmique a été créé, permettant de chercher, trouver, interpréter et relier des images de visages éparpillées aux quatre coins du cyberespace. Ce système articulait principalement trois algorithmes :

• Le scraper, qui, à partir d’une liste de mots-clés (keywords), allait chercher sur Internet des images, en sauvegardant les adresses de celles comportant des visages.
• L’algorithme intégrant le réseau de neurones, lequel, pour chaque image contenant un visage, fournissait 68 paires de coordonnées (I, J), pointant les yeux, la bouche – avec le détail des lèvres –, le nez et le contour inférieur du visage.
• Un algorithme qui, moyennant de longs calculs, parvenait, pour chaque nouvelle image, à trouver dans l’immense base de données les images les plus proches.

Le système a dû être complexifié pour tenir compte du fait que chaque image ne possédait pas, à proprement parler, une seule image voisine, mais potentiellement six : une à droite, une à gauche, une vers le haut, une vers le bas, une vers l’avant et une vers l’arrière. Les images, articulées les unes aux autres par proximité, formaient ainsi des « espaces de visages ». Et il faut bien dire des espaces, car on pouvait observer, par exemple, que les visages d’une certaine forme, et portant une expression particulière, avaient tendance à s’articuler davantage entre eux, formant un espace spécifique.

Après des périodes de scraping et de calcul qui pouvaient durer des journées entières, l’agencement algorithmique produisait, en résultat final, une base de données indiquant, pour chaque image, ses images voisines. Cette base de données ne contenait pas une animation unique, mais un vaste ensemble d’animations potentielles, selon l’espace de visages privilégié et le parcours choisi à l’intérieur de cet espace. À l’issue d’une longue exploration, un itinéraire fut sélectionné parmi les quasi infinies possibilités, permettant enfin de disposer de la succession d’images à mobiliser dans la construction du film.

La très grande diversité d’images montrant des visages m’a surpris d’emblée : je voyais défiler des « vrais » portraits photographiques – y compris quelques Hallcourt –, intercalés avec des selfies pixelisés, des captures d’écran de publications sur les réseaux sociaux (Facebook, Instagram, Twitter, TikTok…), des portraits « pro » issus de banques d’images et portant leur filigrane – Shutterstock, Alamy, Depositphotos, Getty Images, etc. – des images de participants à des plateaux télé, des clichés de célébrités en robe assistant à des cérémonies, avec en arrière-plan les logos des sponsors ; des gros plans de chanteurs et chanteuses, des photos issues de trombinoscopes, d’athlètes en action, des images corporate, des publicités, des pochettes de vinyles ou de CD, des couvertures de livres et de magazines, des mèmes avec du texte, des images extraites de films ou de clips musicaux, de très anciennes photographies en noir et blanc ou en sépia, des portraits dessinés, des visages gravés sur des pièces métalliques, imprimés sur des t-shirts ou intégrés à des tatouages…

Bien plus « flashy » que prévu, l’animation déploie un catalogue hyperrapide des usages de l’imagerie des visages, avec une forte présence d’images à vocation commerciale. Par la mise en tension de tous ces types d’images – en dialogue ou en collision – où célébrités et anonymes s’entremêlent à haute fréquence, l’animation possède le potentiel de « capter » le spectateur dans un état d’étonnement permanent.

Par ailleurs, une réflexion « médiale » se dégageait : tout comme le dispositif cinématographique traditionnel, et avant lui les dispositifs historiques d’animation – du thaumatrope⁴ au praxinoscope, en passant par le phénakistiscope – sans oublier l’image vidéo électronique, la plupart des systèmes que l’humanité a conçus pour produire l’illusion du mouvement font appel à une succession rapide d’images fixes. L’image numérique n’échappe pas à cette logique, avec des flux vidéo définis par un fps (frames per second), mis en œuvre par une machine – l’ordinateur – qui s’exprime par une suite d’états fixes. Postdigital Flipbook semble souligner ce dénominateur commun aux dispositifs techniques d’animation, dans une réflexion qui privilégie la continuité entre anciens et nouveaux médiums, en résonance avec l’esprit de l’archéologie des média.

Tous les dispositifs d’animation des images employés par l’humanité agissent à partir de leur conditionnement matériel spécifique⁵, et Postdigital Flipbook n’aurait pas pu faire autrement. Cet ancrage matériel s’est exprimé avec force durant le processus de création, où, d’une part, d’énormes temps de calcul et de « grattage de données » ont été nécessaires, tandis que les IP (adresses réseau) des images trouvées signalaient des emplacements éparpillés à travers le globe⁶, mettant en lumière le déploiement géographique concret d’Internet.

J’ai tenté d’exprimer cette forme de matérialité en la transposant dans la « lourdeur » du papier, par la création d’une centaine de flipbooks (folioscopes) physiques – chacun pesant environ 1 kg. Une partie de ces flipbooks allait être rangée dans une armoire serveur, tandis que le reste des exemplaires devait être déposé sur une table improvisée à proximité de l’armoire, constituée d’un enrouleur de câbles placé à l’horizontale, l’ensemble contribuant à structurer une version installative du film. Celle-ci a été exposée au Musée de l’Élysée à Lausanne en 2020, à l’occasion de l’exposition Regeneration4. Les flipbooks étaient conçus pour être mis à disposition du public ; or, il a fallu composer jusqu’au dernier moment avec les contingences très matérielles du réel. En effet, du fait des restrictions liées au Covid-19, et dans le but de minimiser les risques de transmission du virus, les commissaires d’exposition – Pauline Martin et Lydia Dorner – ont décidé de laisser les flipbooks hors de portée du public, à l’intérieur de l’armoire serveur.

Postdigital flipbook témoigne d’un état des choses inquiétant, dont nous commençons tout juste à percevoir les conséquences. En effet, une grande partie de nos données – y compris les données personnelles – ainsi que toutes nos traces « virtuelles », sont de facto à disposition de quiconque souhaiterait les consulter, rendant possible de nouvelles modalités d’appropriation. Il a été ici question de mobiliser ces données d’autrui dans le cadre d’un projet artistique, mais l’entreprise montre clairement qu’avec des moyens très similaires, il serait tout aussi possible de mettre en place un système de reconnaissance faciale. Ces systèmes existent déjà, et pas uniquement en Chine⁷.

Par ailleurs, les géants du web ont tiré parti de cette situation dans leur intérêt exclusivement économique. En effet, grâce à la masse de données librement accessibles sur le web, et en raison d’un vide juridique, de nombreux acteurs du numérique ont entraîné leurs réseaux de neurones génératifs, désormais capables de produire des images (dessins ou photographies) et des textes de tout type, dans une tentative de prendre d’assaut ce qui restait d’humain dans la gestion du sensible. Celui-ci, pour le dire avec Adorno et Horkheimer, relevait déjà de l’industrie culturelle ; avec les IA génératives, il s’agit désormais de son automatisation.

Postdigital flipbook, au premier abord, semble refléter ce mode d’existence industrielle des images, proposant un éblouissement « facile », plus proche du divertissement que de la contemplation — une mise en bouche qui mobilise davantage la vision que le regard. Sauf que, une fois le spectateur « accroché », s’ouvrent à lui des possibilités très concrètes d’élargissement de l’expérience : en se demandant tout simplement comment l’œuvre a été construite, émerge une réflexion qui révèle un aspect profondément problématique du mode d’existence contemporain du numérique.

1. Nous comprenons aujourd’hui le fonctionnement de ce type d’exploit technologique, basé sur l’apprentissage profond des réseaux de neurones – deep learning.↩︎

2. Il a néanmoins fallu faire tourner l’algorithme pendant un temps considérable afin d’extraire les images mobilisées par le projet.↩︎

3. Des moments parfois difficiles, durant lesquels je comprenais Brian Eno lorsqu’il déclare, lors d’un entretien : « Je travaille tout le temps avec des ordinateurs et ça m’insupporte. Je me sens mourir quand je les utilise. » Lien web de l’interview : https://desmusiquespourguerir.com/brian-eno-strategies-obliques-pour-creativite-illimitee/.↩︎

4. Celui dit des Eyzies, découvert en 1864 à Laugerie-Basse en Dordogne, date du Paléolithique.↩︎

5. Mais aussi du conditionnement matériel de l’humain, à la base de processus comme la rémanence rétinienne, grâce à laquelle notre perception visuelle participe à la création de l’illusion de mouvement.↩︎

6. Certes, avec certaines zones très privilégiées, comme les États-Unis, et d’autres presque absentes, comme l’Afrique subsaharienne.↩︎

7. Nous aborderons cet aspect en lien avec le travail de Benjamin Gaulon dans le chapitre 5.↩︎