Transposer le sensible

Au sein du numérique les données visuelles peuvent être « lues » pour donner forme à un registre sonore, et inversement, à partir d’un fichier son (.wav, .mp3) il est possible de générer une image¹. Cette propriété, déjà présente dans les médiums analogiques², s’intensifie avec le numérique, rendant plus immédiates les possibilités d’expérimentation intermédiales. De nombreux essais visuels et microœuvres, partagés sur les réseaux sociaux ou des forums spécialisés³, ont ainsi vu le jour, avec des consistances esthétiques diverses. La plupart du temps, le passage des données entre le son et l’image s’effectue dans la quête des glitchs, des anomalies potentiellement intéressantes à découvrir dans l’image ou le son après avoir forcé les données à transgresser leurs frontières médiales respectives, c’est-à-dire en manipulant une image dans un logiciel de traitement du son et vice-versa⁴.. Dans les paragraphes suivants, nous nous pencherons cependant sur une œuvre qui module autrement l’articulation son-image au sein du numérique, assurant une forme de cohérence entre les deux registres sans pour autant passer, comme le font les œuvres étudiées dans la section précédente – Déstructurations – par un fonctionnement « hors programme » de la machine.

Lorsque le son déchire l’image

C’est face à une entité hybride, où le son et l’image s’entremêlent intimement, que nous nous trouvons avec Entwining of Lost Souls, vidéo de 9m38s réalisé par Simon Le Boggit en 2022. Sur l’écran se matérialisent des notes musicales jouées à la viola, prenant la forme de traces de couleurs très saturées, couvrant les extrêmes du spectre chromatique et évoluant en parfaite synchronie avec le son. Ces notes, prolongées par de longs vibrato, se succèdent sans former de mélodie, mais créant des intervalles courts à expressivité variable (dramatique, mélancolique, mystérieuse…). Chaque nouvelle note déchire l’image dans une direction différente, y imprimant une vibration visuelle qui s’éteint en même temps que le son. Tout se passe comme si un pinceau de son et de lumière agissait sur le cadre, déposant de la matière tout en redistribuant celle déjà présente, à la manière d’une aquarelle brièvement saisie par une intense oscillation. Les touches colorées se superposent, les unes sur les autres, animées lorsqu’elles sont « déposées », mais rapidement figées : aussitôt « leur » note éteinte, chaque touche picturale se fond dans l’arrière-plan coloré de l’image, qui lui-même dévoile un autre fond, noir cette fois-ci, dans une image visuellement stratifiée. Les nouvelles traces s’étalent en déformant les anciennes, comme dans une sorte de palimpseste fluidifié. Par moments, les traces de son-lumière se présentent comme faisant partie des surfaces planes traversant obliquement le cadre, des surfaces qui redéfinissent leurs inclinations spatiales à chaque note. Alors, l’image se débat entre la planéité du cadre et l’illusion d’une profondeur spatiale.

Entwining of Lost Souls mobilise l’image numérique de manière singulière, révélant son élasticité quasi infinie. L’œuvre fait réagir l’image dans ce qu’elle a de liquide, comme si celle-ci était composée par des flux s’écoulant dans toutes les directions. À l’instar de plusieurs œuvres de notre corpus, celle de Le Boggit dévoile la chair magmatique de l’image numérique, faite de signaux électriques échappant à la perception humaine.

L’image, mémoire du son

Au-delà de l’aspect médial, quelques éléments de contexte nous permettront de saisir l’un des enjeux principaux de l’œuvre. Simon Le Boggit concilie sa pratique artistique avec une situation personnelle difficile. En effet, cet artiste issu du monde de la musique a souffert une perte progressive de sa capacité d’audition qui risque de s’aggraver à l’avenir⁵. L’artiste profite alors de la capacité de transcodage de la technologie numérique afin de transposer l’univers sonore dans le registre visuel, se préparant, selon ses propres mots, au jour où il aura malheureusement perdu complètement sa capacité d’audition⁶.

Nous pouvons dans ce cadre nous poser une question fondamentale : pourra-t-il se réaliser de manière transparente ce passage du son au visuel ? Ou bien faudra-t-il anticiper des altérations, des glissements, qui vont affecter les formes sonores dans leur passage vers le visible ? De cette interrogation découle le fait évident, à savoir, que les domaines du son et de l’image possèdent des caractéristiques spécifiques qui les rendent fondamentalement différents, réalité qui se manifeste clairement dans l’œuvre, malgré le niveau d’entremêlement qu’y se produit entre le son et l’image. En effet, tandis que le son établit une connexion sensible privilégiée, à même de structurer de manière directe et instantanée des états d’esprit, le visuel, quant à lui, est davantage spatialisé et semble entretenir un lien plus fort avec l’« intellectualisable » et avec le symbolique.

Toutefois, comme cette recherche ne cesse d’essayer de souligner, avant de se peupler des symboles, le visuel se constitue de traces, et ce sont ces traces qui opèrent, en fin de compte, au sein de l’œuvre. C’est par le visuel que l’on accède au « passé » de l’image, mais aussi du son dans le cadre de cette œuvre, tellement ce son est ici proche du visuel. En effet, si le son, surtout dans cette composition atonale qui ignore l’harmonie, retient peu le souvenir des notes précédentes, l’image conserve de façon plus durable les impressions visuelles des notes passées. Ainsi, c’est au niveau du transfert mémorial du son vers l’image, particulièrement lisible au sein du numérique, qui se situe l’une des fibres actives de l’œuvre. Celle-ci souligne d’une manière particulière les possibilités synesthésiques du médium.

Du « langage » à la trace

Lorsque l’on étudie les détails du processus de création à l’origine d’Entwining of Lost Souls, un aspect essentiel émerge, enrichissant notre réflexion. Du point de vue processuel, l’enjeu de l’œuvre ne réside pas tant dans un passage du son à l’image que dans une génération simultanée⁷. En effet, dans Entwining of Lost Souls, son et image ont été créés simultanément, à partir des mêmes données, par des moyens algorithmiques⁸. L’œuvre tire ainsi parti, tout en l’éclairant, de la caractéristique propre au numérique évoquée au début de ces paragraphes : à savoir, la capacité du numérique à rapprocher les médiums, le son, l’image, et même, dans une certaine mesure, le texte. Pourtant, cette caractéristique est souvent présentée, à tort, comme une rupture majeure par rapport à la tradition artistique. À ce propos, nous pouvons trouver dans la littérature :

[…]l’art numérique remet en cause les catégories traditionnelles de l’art. il se fonde en effet sur un langage unique (le langage binaire) […]. L’art numérique remet en cause la séparation entre les arts de l’espace et arts du temps, par exemple, ou encore des distinctions internes aux arts plastiques, entre peinture et sculpture⁹.

Pouvons-nous vraiment adhérer à cette « spécificité » du numérique, ainsi formulée, sous la base d’un « langage binaire » dont les contours et caractéristiques en tant que langage restent à préciser¹⁰ ? Il n’a jamais été question de considérer la peinture (ou le dessin) et la musique comme faisant partie du même « médium », en argumentant que ces deux pratiques trouvent un support d’inscription de même nature (toile, partition papier).

La spécificité du numérique réside dans le fait que, là où nous avons besoin d’un musicien pour lire et exécuter une partition papier, l’ordinateur peut « lire » les mêmes traces aussi bien en tant qu’image qu’en tant que son. Ce substrat formel commun participe certes aux possibilités accrues de synchronisation entre le son et l’image au sein du numérique, mais seulement parce qu’il est lu avec exactitude par la machine soit en tant que son soit en tant qu’image.Ainsi, ce n’est pas au niveau du support d’inscription que le numérique rapproche les médiums, mais bien au niveau de la lecture automatique. Cette distinction est essentielle¹¹.

Le support numérique et le sensible

Si le numérique propose des ponts plus fluides entre le son et l’image, des ponts dont profite Entwining of Lost Souls, fusionne-t-il réellement les catégories de l’art ? Rien n’est moins sûr, car cela doit être évalué sur le plan sensible, où son et image demeurent ce qu’ils ont toujours été, même en numérique. D’un point de vue perceptif – ce qui arrive à nous – le visuel et le sonore continuent de s’exprimer de manière classique, comme dans l’analogique : nous percevons l’image avec nos yeux, grâce à un signal visuel – lumière informée – tandis que le son est capté par notre ouïe, grâce à un signal qui prend la forme d’ondes de pression dans l’air. Nous devons à Lev Manovich une distinction, que nous avons déjà mentionnée, et qui nous aide une nouvelle fois à clarifier la réflexion à ce stade. En effet, en numérique, son et image partagent une même origine au niveau de ce que Manovich appelle la couche informatique (computer layer), tandis qu’au niveau de la sortie, son et image se manifestent dans leurs registres classiques : ils sont perçus et interprétés par le spectateur au sein de ce que Manovich indique en tant que couche culturelle (cultural layer). Cette distinction, avec toute sa simplicité, éclaire énormément le fonctionnement des ordinateurs et permet de nuancer, en les précisant, les discours qui cherchent à « tout homogénéiser » lorsqu’il s’agit du numérique. L’œuvre de Le Boggit, faisant dialoguer de façon intime son et image, rend sensible leur origine « génétique » commune, tout en mettant en valeur les qualités expressives propres à chacun de ces deux registres fondamentaux.

Entwining of Lost Souls nous aide à délimiter avec exactitude, au sein de la couche informatique, l’entité corrélative à un objet sensible (son, image, texte) se manifestant sur la couche culturelle. En effet, il ne suffit pas de se limiter aux données spécifiques à chaque objet¹², si nous souhaitons cerner l’« instance active » de l’objet sensible (son ou image), il est aussi nécessaire de prendre en compte la composante algorithmique qui « lit » ces données. De façon schématique, on pourrait dire que les traces (données), spécifiques à chaque objet sensible, sont lues par un signal déjà formaté - préformaté – par un algorithme de lecture, lequel diffère selon qu’il s’agit d’un logiciel de lecture de son ou de restitution des images numériques.

L’électricité comme matériau

De manière plus fondamentale, cette œuvre de Le Boggit contribue à illustrer les angles morts des discours qui cherchent à niveler tous les médiums au sein du numérique, à les rendre équivalents. Ces discours aux ambitions ontologiques cherchent à rapprocher les objets sensibles du langage humain, et par ce biais les enrober d’une allure immatérielle et transcendante. Entwining of Lost Souls témoigne du fait que, à la lumière du faire artistique, le fonctionnement du numérique se clarifie de façon naturelle, le domaine matériel interne de l’image numérique se dévoile. Par ailleurs, tout artiste sait – même s’il ne l’avouerait jamais – que tout art est art de quelque chose¹³.

Entwining of Lost Souls, en fin de compte, révèle la capacité inédite du numérique à réorienter les flux d’énergie de manière extrêmement complexe mais contrôlée, et c’est précisément cela ce que font les algorithmes. Souvent présentés comme des séries d’instructions issues du « langage », on gagne à les appréhender comme un ensemble très sophistiqué capable de diviser, de diriger, de combiner et d’organiser un flux électrique indifférencié qui entre dans l’ordinateur par le câble d’alimentation. Stricto sensu, et malgré toute leur complexité, les ordinateurs ne font rien d’autre. Une partie de l’énergie électrique est transformée en lumière par les cellules d’affichage des écrans, une autre partie est transformée en son par les membranes des enceintes ou des casques. En peinture, il fut un temps utile de se souvenir, avec Maurice Denis, qu’une toile est d’abord « une surface plane recouverte de couleurs en un certain ordre assemblées¹⁴ ». De même, en numérique, il est peut-être temps de reconnaître qu’un ordinateur est avant tout un dispositif extrêmement sophistiqué qui parvient à traiter un signal électrique de manière très élaborée. Entwining of Lost Souls a été construite en profitant de cette caractéristique fondamentale des ordinateurs.

Lorsque le signal électrique interagit avec les traces, même lorsqu’il les produit, il est informé par elles. Le code qui met en œuvre Le Boggit produit des traces – des données – qui peuvent être lues à la fois comme son et comme image. Un signal conçu pour lire un son peut être dirigé vers la lecture des données appartenant à une image, et vice-versa, ce qui parvient à établir très concrètement un pont médial. Les données étant identiques, la nature de la forme produite dépendra de celle du signal qui interprète ces traces.

C’est sur le plan de ces flux électriques hyperrapides, informés par la microstructure du support, qu’il convient de chercher le véritable mode d’existence de la technologie numérique. Afin qu’ils puissent être contrôlés par des utilisateurs, ces flux et ces traces sont transposés dans la forme des codes – ou d’interfaces – et des données, flux et traces sont « médiés ». Le geste de Le Boggit, passant par l’algorithme, semble atteindre le socle fondamental du fonctionnement de l’ordinateur en transformant la véritable substance de l’image numérique. C’est à ce niveau qu’intervient également Jacques Perconte, artiste qui utilise des outils construits par détournements des codecs de compression, mais qui, surtout, compose avec eux à partir de la fibre première de l’image numérique. Sous l’égide de l’artiste, et en deçà des mots, l’image se met à respirer et aussitôt à raconter. Cela, par la modulation d’une plasticité magmatique qui semble percer toutes les couches de médiation pour s’offrir directement à la sensibilité humaine.

1. Au même titre, la plupart des fichiers peuvent être ouverts en tant que fichiers de texte, même si ce dernier restera souvent incompréhensible pour l’éventuel lecteur. Ce principe est à l’œuvre dans l’un des effets les plus populaires, le WordPad Effect, qui consiste à ouvrir un fichier image avec l’éditeur de texte WordPad, pour le sauvegarder après avoir modifié le données codifiées de l’image, affichés par Wordpad dans la forme de caractères ASCII. À l’insu de cette opération, l’image sera « glitchée ». Voir à ce propos http://blog.animalswithinanimals.com/2008/08/databending-and-glitch-art-primer-part.html visité le 17 septembre 2024.↩︎

2. Voir par exemple l’œuvre de Nicolas Maigret Flat Earth Society (2008), où un disque vinyle a été gravé de manière à laisser entrevoir une image du globe terrestre. Site web de l’œuvre: http://peripheriques.free.fr/blog/index.php?/works/2008-earthtodisk/, visité le 17 septembre 2024.↩︎

3. Voir par exemple le blog datamoshing.com.↩︎

4. Un autre effet similaire consiste à ouvrir un fichier image (par exemple un .bmp) avec Audacity, un logiciel de traitement de son, pour ensuite l’enregistrer après l’avoir modifié.↩︎

5. Voir l’interview de l’artiste lors de son exposition à Fabrica Gallery, UK, en 2021. Lien web: https://www.youtube.com/watch?v=tn-K5q1d8Gs, consulté le 22 juillet 2024.↩︎

6. Ibid.↩︎

7. Le cinéaste expérimental britannique Malcolm Le Grice (1940-2024) s’est intéressé à ce type de génération simultanée dans son fiml Heads I win, tails you loose (1984). Grâce à un programme écrit par l’artiste lui-même, il construit un collage dynamique où son et image s’entremêlent organiquement.↩︎

8. Voir à ce sujet la description de l’œuvre sur le site de l’artiste « Duet pour alto composé algorithmiquement, accompagné d’une vidéo d’animation CGI abstraite générée à partir du même ensemble de données que la musique ». Lien web: https://quantumsouporchestra.weebly.com/ consulté le 22 juillet 2024↩︎

9. Fred Forest, «Esthétique du numérique : rupture et continuité: ». L’Observatoire [en ligne]. décembre 2010, vol. Hors-série 3, n° 3, p. 10‑16.↩︎

10. Nous allons voir, dans le chapitre 3, le besoin d’établir un partage net entre d’une part le langage humain, et d’autre part ce qu’on appele le langage machine.↩︎

11. La distinction entre logiciel de lecture d’une part, et données stockées d’autre part nous aidera à mieux décrire l’image numérique par rapport à son conditionnement matériel, dans la partie xxxxx (ontologie processuelle / non essentialiste, de l’image numérique)↩︎

12. par exemple, un fichier .wav pour un son, un fichier .jpeg pour une image, etc.↩︎

13. À l’extrême, Tino Sehgal travaille avec la voix humaine, la langue, le mouvement, et les interactions, certes, mais les interactions entre des éléments concrets.↩︎

14. Jacques-Émile Blanche, Propos de peintre. Paris : Editions Séguier, 2013, préface, p. XXXII.↩︎