Hyper-collages, algorithme et big data

Cory Arcangel, né en 1978, est une figure majeure de l’art numérique aux États-Unis. Parmi ses projets, on trouve plusieurs qui illustrent les stratégies abordées dans la section précédente, où la production de formes découle des dysfonctionnements, qu’ils soient spontanés ou provoqués, des moyens technologiques. Son œuvre Super Mario Clouds (2002), par exemple, avec laquelle Arcangel a atteint la notoriété, résulte de la modification d’une cartouche du jeu Mario Brothers, dans laquelle l’artiste a effacé tous les éléments du jeu à l’exception du fond animé, composé de nuages qui parcourent l’écran de droite à gauche¹. Nous pourrions également évoquer Self Playing Sony Playstation I Bowling (2008), où Arcangel n’altère pas la cartouche d’un jeu de bowling sur Playstation, mais la manette de la console elle-même, de manière à ce que le personnage du jeu joue en boucle, lançant systématiquement la boule dans les rigoles qui délimitent la piste de bowling².

L’exploit algorithmique

Toutefois, l’œuvre qui nous intéresse particulièrement de Cory Arcangel dans le cadre de cette recherche ne résulte pas d’un dysfonctionnement ou détournement technologique. Il s’agit de l’œuvre vidéo Paganini Caprice No. 5, réalisée par l’artiste en 2011 à l’aide d’une petite armée de logiciels³, combinée à des algorithmes conçus par l’artiste lui-même, sans que l’on puisse discerner dans son processus de création un détournement du fonctionnement par défaut de l’ordinateur.

Dans cette vidéo de 3m41s, Arcangel recrée l’une des pièces les plus célèbres du virtuose violoniste Niccolò Paganini (1782-1840), à travers une succession de plusieurs centaines de séquences vidéo très courtes – d’une durée bien inférieure à la seconde pour la plupart – extraites des tutoriels de guitare électrique comme on en trouve des millions sur la toile. Ainsi, chaque note de Caprice No. 5 correspond, dans la vidéo, à une séquence de même durée, au moment précis où un guitariste – souvent amateur – joue la même note dans le cadre de son tutoriel.

Ce processus de recherche de vidéos, de caractérisation (en fonction des notes jouées), et d’assemblage (selon le modèle de la pièce de Paganini) aboutit, sur le plan sonore, à un rendu assez reconnaissable de la composition originale : en effet, le timbre de la guitare électrique, et même le vibrato sur les notes tenues, se rapprochent de certaines interprétations de l’œuvre de Paganini au violon. Le registre visuel, en revanche, souffre d’un manque de lisibilité : il est constitué d’une succession hyperrapide de séquences, dont la brièveté rend difficile l’appréhension, notamment pour les notes les plus courtes.

Dès le début, la vidéo se présente ainsi déséquilibrée, avec un registre de son « cohérent », composé des intervalles ascendants et descendants de la mélodie, superposé à un visuel haché et disruptif proche du flickering, issu d’un montage machinique, non humain⁴. Par moments, cependant, les registres visuel et sonore semblent se rejoindre, lorsque, d’une part, une continuité gestuelle au niveau des mains des guitaristes, émerge de la succession de micro-séquences, tandis que, d’autre part, la mélodie en La mineur évolue vers une succession d’intervalles irrésolus et vertigineux de notes intermédiaires.

Si X alors Y (Présentir le médium)

Malgré le fait que l’artiste soit présenté comme « post-conceptuel⁵ », son œuvre reflète plutôt une démarche ancrée dans l’expérimentation, où l’artiste déploie un savoir-faire informatique non négligeable. Il est également important de noter que parmi les piliers de sa carrière, Arcangel reconnaît le contact avec des artistes de vidéo expérimentale dans sa ville d’origine, Buffalo, où il a suivi des études artistiques⁶. Ainsi, dans Paganini Caprice No. 5, la stratégie de l’artiste semble proche de l’approche « what if ? », c’est-à-dire, lorsqu’un artiste souhaite connaître le résultat d’une action sur le réel, action souvent décalée, mais dont il pressent un potentiel formel. Nous trouvons cette approche à l’origine de la vidéo Around & About (1980), de Gary Hill, qui fait partie des artistes ayant enseigné à l’université de Buffalo. Hill réalise Around & About à partir d’un texte introspectif, dont la lecture est accompagnée de photographies de son bureau à l’université, à raison d’une image par syllabe⁷.

Avec Paganini Caprice No. 5 Arcangel semble aller plus loin que la stratégie « what if ?», transformant la question en une implication conditionnelle « If […] then […] » (« Si […] alors […]»): si l’iconosphère (partie visuelle du big data) est aussi vaste et dense, alors il devrait être possible de reproduire une chanson, même très complexe, en assemblant des extraits vidéo qu’il faudra chercher et traiter, mais qui doivent être forcément disponibles sur Internet. L’artiste y parvient en concevant et en mettant en place des procédures algorithmiques dédiées⁸, rendant ainsi perceptible le volume colossal d’images disponibles en ligne.

Une œuvre de ce type, issue d’un processus massif de recherche, découpage, et recollage, doit moins son épaisseur à son expression sensible (l’image et le son perçus par le spectateur) qu’à son propre processus de création et ses implications. En effet, Caprice No. 5 n’est envisageable que grâce à l’immense quantité de vidéos de ce genre (tutoriels et reprises produites par des guitaristes amateurs chez eux) disponibles en ligne⁹. Ainsi, l’œuvre ne peut être pleinement saisie sans reconnaître un geste artistique qui anticipe intuitivement, et exploite, les nouvelles possibilités offertes par le médium : la puissance des algorithmes, l’état et l’évolution d’Internet, ainsi que la tendance totalisante du big data.

Un réseau d’images

À la lumière de Paganini Caprice No. 5, l’image numérique apparaît, d’une part, caractérisée par une plasticité seulement atteignable par des moyens algorithmiques, et, d’autre part, inscrite dans son environnement naturel: connectée en réseau à des millions d’autres images, au sein d’une gigantesque base de données collective - le big data de l’humanité - qui ne cesse de s’élargir et de se densifier, flirtant ainsi avec la continuité formelle¹⁰. Si l’image numérique nous apparaîtra, au prisme du travail de Jean-Michel Rolland, cohabitant avec ses reflets déformés et ses fantômes, l’œuvre d’Arcangel la révèle dans son interconnexion naturelle à un vaste univers d’autres images. Ces images interagissent et se transforment de manière féconde, particulièrement lorsqu’elles deviennent la matière première de l’algorithme, dirigé par l’intention artistique consciente de son médium, qui se trouve interrogé en retour.

Certes, il y aurait des aspects à considérer en mobilisant les « esthétiques de la base de données¹¹ ». Or, celles-ci se fondent sur l’idée de la base de données comme unité fondamentale d’un réel qui tend à être réfléchi sur le plan symbolique, dernier recours d’une approche du numérique qui rate son rendez-vous avec le conditionnement concret, matériel, du médium.

L’intentionnalité – ici celle d’Arcangel – qui scrute le médium en pondérant son potentiel créatif, ne le fait aucunement sur une base symbolique, selon laquelle, dans une base de données, toute donnée peut être présente ou absente, et toutes les données peuvent se relier entre elles de façon infinie. Au contraire, la pondération qui saisit la possibilité du geste créateur sait que ce geste doit être cerné dans sa possibilité réelle, c’est-à-dire dans la plausibilité algorithmique et dans les ressources computationnelles disponibles. Symétriquement, le médium est scruté sans négliger l’aspect affectif, l’attachement ou l’indifférence de l’humain par rapport à certains types d’images, qui signent finalement sa présence massive ou son absence relative dans le système.

En conséquence, la structure issue de l’algorithme, mobilisé à son tour par le geste de l’artiste, engendre une vidéo expérimentale, certes, mais elle est également à appréhender par rapport à sa physicalité : comme un surplus de connectivité – physique (technique), et donc sensible – construit entre des images.

Cinéma, télévision, Internet. L’humain bousculé.

En élargissant la réflexion suscitée par cette œuvre d’Arcangel, qui voit mise en scène l’image numérique en réseau, on distingue un trait commun à notre époque. Il s’agit de l’internalisation assez rapide – la naturalisation – des nouvelles modalités technologiques de représentation et de vision à distance, issues de l’interconnexion accrue atteinte avec Internet. En cela, Internet prolonge certainement les effets des révolutions technologiques qui l’ont précédé en matière d’images : le cinéma et la télévision. En effet, tel que nous l’indique Manovich¹² s’appuyant sur Walter Benjamin et Paul Virilio, le cinéma (selon Benjamin) et la transmission des images (selon Virilio), contribuent à « compresser » le temps et l’espace, ce qui n’entraîne rien de moins qu’une transformation de la nature humaine elle-même.

Dans notre cadre de pensée, où l’humain et la technologie co-évoluent nués par une relation transductive, nous interprétons les effets du cinéma et de la télévision comme un déplacement de cette relation: l’apparition du cinéma et la fluidification de la transmission des images matérialisent de nouvelles structurations technologiques, qui à leur tour conditionnent l’évolution subséquente de la structuration humaine de l’espace-temps. Si l’image animée (le cinéma), suivie de la caméra mobile¹³, puis la transmission des images télévisuelles ont induit une mutation dans l’appréhension du temps et de l’espace par l’humain, cette œuvre d’Arcangel rend tangible la prolongation de cette tendance où l’humain et la technologie se co-structurent mutuellement. Elle fait écho à la formation en cours d’une immense archive mondia d’images, le big data, qui constitue le socle et la condition de possibilité de l’intelligence artificielle générative, prochain jalon où la dialectique humain-machine devra s’accommoder.

Ainsi, c’est en mettant à profit le big data, spécificité du médium numérique, qu’Arcangel construit Paganini Caprice No. 5. Au sein du big data, les images – tout comme les textes, les sons et les codes – sont mises en réseau, c’est-à-dire accessibles depuis d’innombrables points d’entrée, mais aussi interconnectées de manière multiple et diverse. L’artiste crée son œuvre en structurant une nouvelle forme d’interconnexion : des flux audiovisuels qui s’enchaînent selon un motif préexistant, les notes de l’œuvre de Paganini.

Avant Arcangel, dont le geste structure un « surplus de réseau », il a été question de saisir comment Biermann produit son œuvre par la mise en place d’un nouveau niveau plastique, où l’imagerie hollywoodienne est réassemblée algorithmiquement. Enfin, avant Biermann, on a vu comment Menkman structure son œuvre par la production d’un surplus narratif. Ces trois œuvres semblent agir, comme mentionné auparavant, en dehors des images elles-mêmes, en prolongeant des structures symboliques – discursives – plastiques ou techniques – issues du réseau.

Il est maintenant temps d’explorer des gestes qui génèrent des structures à l’intérieur de l’image, dans un parcours mettant en relief une image stratifiée, composée de couches actives qui se superposent les unes aux autres. Ces images se présentent selon une structure aisément appréhensible, mais derrière cette simplicité apparente se dissimule un univers infini – ou presque – de formes possibles.

1. L’artiste a mis à disposition le code lui permettant d’effectuer ce détournement sur la plateforme GitHub, témoignant ainsi de son adhésion aux principes de partage de connaissances et méthodes caractéristiques de la communauté Open Source.↩︎

2. Arcangel a modifié la manette de la Playstation en y agrafant une extension de circuit bricolée, intervention qui prolonge la pratique du circuit bending. Celle-ci, popularisée par des artistes comme Reed Ghazala (1953-), consiste à manipuler les circuits électroniques de dispositifs simples, souvent des jouets émettant lumières et sons, afin de générer des effets imprévus. Le circuit bending peut être vu comme une version « en dur » de l’écriture et de l’exécution d’un algorithme, ce dernier associé à la modification temporaire d’un circuit éléctronique « plastique ». Le circuit-bending rend tangible la filiation gestuelle des algorithmes.↩︎

3. Les logiciels utilisés sont : ffmpeg, sox, g++ et MAX/MSP.↩︎

4. Le montage dans cette œuvre ne résulte pas d’une décision sensible basée sur les images, mais suit mécaniquement la succession des notes de la mélodie de Paganini↩︎

5. Site de l’artiste dans le Whitney Museum of American Art. Lien web: https://whitney.org/artists/8339 visité le 28 août 2024.↩︎

6. Arcngel indique avoir été l’étudiant d’artistes de vidéo et de cinéma expérimental, notamment Steina et Woody Vasulka, installés à Buffalo après avoir quitté New York. Voir à ce propos l’interview de l’artiste lors de son exposition à la Lisson Gallery de Londres. Site web: https://www.youtube.com/watch?v=u7keMVNTTCs, consulté le 28 août 2024.↩︎

7. La vidéo, disponible sur le site de l’artiste, exploite, en même temps qu’elle révèle, les immenses possibilités de variations qui se présentent au niveau de la captation et la resitution des images. En effet, Gary Hill explore en profondeur des changements de point de vue, de cadrage, de mise au point lors de la captation; tandis que les images sont restituées recadrées, repossitionnées de manière extrêmement varié à l’écran. Lien web de l’œuvre : https://garyhill.com/work/video/around-about.html, consulté le 29 septembre 2024.↩︎

8. Un principe de ce type est aussi à l’œuvre dans Postdigital Flipbook: « si un tel volume de photographies de visage est présent sur Internet, alors il devrait être possible, par la succession des images suffisament proches, de créer quelque chose qui s’apparente à une animation.↩︎

9. Arcangel avait déjà produit en 2009 une œuvre très similaire, tirant parti d’un autre type de vidéos proliférant sur Internet. Dans Arnold Shoenberg, op. 11 -|- Cute Kittens, Arcangel recompose une pièce de Schoenberg à partir de l’enchaînement de centaines de micro-séquences extraites des vidéos de chats marchant sur des claviers de pianos.↩︎

10. Cela explique le comportement quasi-magique des réseaux de neurones génératifs, dont l’efficacité repose sur des interpolations à travers d’immenses « data sets » hyperdenses.↩︎

11. Celles-ci seront précisées par la suite, au niveau des paragraphes qui chercheront à réfléchir ces œuvres structurantes dans leur ensemble.↩︎

12. Lev Manovich, The language of new media, op. cit., p. 170-175.↩︎

13. Tel que magistralement mis en scène par Dziga Vertov dans son film iconique de 1917, L”homme à la caméra.↩︎