L'idée qui se trouve au centre de cet ouvrage, c'est celle d'un « Environnement réactif », concept proche de la vision de Hobbes, dans laquelle le monde est une vaste mécanique, et destiné à aider à la compréhension de l'essence même de nos expériences actuelles et futures. Ces expériences seront caractérisées par des ordinateurs capables d'identifier nos besoins et d'y répondre.

Myron Krueger
« Artificial Reality », 1983

L'environnement réactif est la base d'un nouveau média esthétique s'appuyant sur une interaction en temps réel entre l'homme et la machine. A long terme, il augure d'un nouveau champ d'expérience pour l'homme : celui de réalités artificielles qui ne chercheraient pas à singer le monde physique, mais qui développeraient des relations arbitraires, abstraites, normalement impossibles entre action et réaction, cause et conséquence. Certains ont émis l'hypothèse qu'à titre de concept comme d'outil, de tels environnements réactifs gagneraient à être utilisés dans de nombreux secteurs…
Nous sommes terriblement attachés à l'idée que le seul objet de nos technologies est de résoudre un certain nombre de problèmes. Mais elles amènent également la création de concepts et de « philosophies ». Nous nous devons d'explorer plus complètement ces aspects de nos inventions, car la prochaine génération de machines nous parlera, nous comprendra, réagira à nos comportements. Elles pénétreront chaque foyer, chaque bureau et feront office d'intercesseurs entre nous et la plus grande partie de l'information et de l'expérience destinées à nous toucher. La conception de ces machines « intimes » est tout autant une affaire d'esthétique que d'ingénierie. Nous devons en être pleinement conscients si nous voulons comprendre et choisir notre avenir en tant qu'il résultera de ce que nous aurons créé.

Myron Krueger
« Responsive Environments », 1977

Enfiler un équipement de RV n'est pas une mince affaire. Quiconque veut visiter le cyberespace aujourd'hui doit mettre des gants équipés de capteurs et se couvrir le visage d'un visiocasque, voire rentrer dans une combinaison intégrale. Le ticket d'entrée à RV-land consiste en effet en ce que Jaron Lanier, qui vend ces produits, appelle du « prêt-à-porter informatisé ». (J'ai moi-même entendu des cybériens, chez un éditeur de logiciel de RV, utiliser l'expression « suce-tête » pour parler d'un visiocasque qui avait été visiblement monté à partir d'un masque de plongée.) Lorsqu'un certain nombre de problèmes techniques auront été résolus, cependant, la réalité virtuelle pourrait bien ne plus relever de ce que l'on porte, mais être intégrée à là où l'on habite. Le cyberespace semble-t-il plus accueillant s'il est matérialisé par un endroit plutôt que par un vêtement ? Ne serait-il pas plus pratique de remplacer le visiocasque par un écran tridimensionnel disposé autour d'une chambre à RV ? Et que penseriez-vous d'abandonner les gants et les combinaisons au profit d'une chambre équipée de capteurs évolués qui détecteraient automatiquement votre position, votre attitude et même la direction de votre regard et l'expression de votre visage ?

Le concept d'un lieu qui pourrait interagir avec nous, voire même jouer avec nous ne nous est pas familier. D'ailleurs, de quelle manière un endroit pourrait-il jouer avec nous, même si cela était possible ? Et quelle en serait l'utilité ? Ce type de questions pourrait bien s'avérer moins oiseuses qu'il ne paraît à première vue. Ce concept un peu dérangeant d'interaction avec un espace « intelligent » pourrait déboucher sur un lieu où l'intelligence de l'homme et celle de la machine seraient à même de se rencontrer. Nous sommes déjà entourés d'ordinateurs et soutenus par eux. Mais la plupart d'entre nous ne sait pas communiquer avec eux, et ceux d'entre nous qui travaillent sur ces ordinateurs sont forcés d'utiliser des langages artificiels plutôt que les moyens de communication familiers que sont la voix, le geste, l'expression, l'attitude corporelle. Si nous pouvions interagir de manière plus naturelle avec les ordinateurs, il est vrai qu'une pièce quasi intelligente semblerait un lieu adéquat pour établir la communication avec la nouvelle culture électronique globale que nous avons bâtie.

Myron Krueger, celui par qui ce genre de réflexions me sont venues, a encore l'air trop jeune pour être le « grand-père » de quoi que ce soit — le qualificatif d'« adolescent » est même celui qui me vient le plus naturellement à l'esprit lorsque je le vois — mais on peut très certainement le considérer comme l'un des pères fondateurs de la technologie cyberspatiale. Il est suffisamment âgé pour avoir eu des enfants qui ont maintenant plus de vingt ans. Ses cheveux blonds commencent à grisonner du côté des tempes, mais il y a quelque chose sur son visage qui lui dénie tout côté « vieux sage ». Les commissures de ses yeux trahissent la présence d'un joyeux farceur tapi derrière la normalité travaillée de son apparence.

Krueger me rappelle quelques autres visionnaires rencontrés, de ceux qui ont poursuivi avec entêtement leurs propres visions en l'absence de reconnaissance de la part du monde en général. Il est difficile de ne pas se sentir blessé lorsque l'on croit connaître un moyen de rendre le monde meilleur et que personne ne vous suit sur cette voie. Et puis il ne peut être que frustrant de constater que vingt ou trente ans plus tard, tout le monde commence à comprendre ce que vous avez défendu pendant des années et se prend à se précipiter quasi aveuglément sur les voies que vous aviez soigneusement tracées il y a si longtemps.

Je rencontrai Krueger pour la première fois un jour où il me rendit visite dans ma maison californienne, peu de temps après que j'eus commencé à écrire ce livre. Sachant ce que je sais maintenant sur ses relations passées avec les journalistes — marquées par la malchance —, je ne peux m'empêcher de penser qu'il avait probablement répondu à mon invitation pour s'assurer que je n'oublierais pas sa contribution à l'histoire de la RV. Il lui avait fallu des années pour trouver un éditeur pour son livre, Artificial Reality. En avril 1989, lorsque le New York Times fit paraître un article à la une intitulé « Qu'est-ce que la réalité artificielle ? », Krueger, qui avait inventé l'expression, n'était pas mentionné. Lorsque je l'appelai pour me présenter à lui, je me rendis compte qu'il avait déjà entendu parler de mon projet de livre. Quelques semaines plus tard, il se trouvait en Californie et prit au mot mon invitation à passer me voir. J'étais intéressé par les raisons qui l'avaient poussé à conserver, pendant toutes ces années, cette approche particulière de la réalité artificielle malgré les échecs.

Nous nous installâmes à la table de la cuisine et passâmes des heures à discuter. Des mois plus tard, lorsque je pris le train à New York pour me rendre à Hartford lui rendre visite et voir son laboratoire de réalité artificielle, Krueger avait loué une voiture pour m'amener de la gare à l'Université du Connecticut, car la ceinture de sécurité de la place avant droite de la sienne ne fonctionnait plus. C'est le genre de choses dont il est coûtumier. Et le petit nombre d'articles que j'avais déterré à son sujet montrait bien qu'il n'avait jamais été assailli par des hordes de journalistes et d'historiens, en dépit des années de labeur sur ce qui semble aujourd'hui avoir été une partie fondamentale de la RV. Il était très heureux de rencontrer quelqu'un qui fut suffisamment intéressé par ses idées pour faire le déplacement jusqu'à Storrs, dans le Connecticut.

Même si le gros de la recherche et de l'industrie en RV, aujourd'hui, exploite des illusions créées par la machine et des visiocasques à affichage 3D, il existe un autre point de vue passé sur la RV, qui pourrait bien reprendre de l'importance à l'avenir : les murs qui nous entourent peuvent être sensibilisés au comportement des hommes et peuvent « apprendre » à y réagir. La sensation d'immersion et d'interaction, le sentiment d'être plongé dans un espace d'un nouveau genre peuvent être donnés autrement que par des masques « suce-tête » et des combinaisons truffées de capteurs. Cette vision d'une « chambre multimédia » à la place de la paire « gants-lunettes », même si elle est plus difficile à mettre en œuvre techniquement, est porteuse pour l'évolution future de la RV, et c'est Myron Krueger qu'il faut créditer du défrichage de ce qu'il appelle la « réalité artificielle ». Il est d'ailleurs difficile de trouver un champ de la RV que Krueger n'ait pas exploré (en faisant appel à des technologies maintenant dépassées) il y a des dizaines d'années.

Tout comme Morton Heilig et Doug Engelbart, cependant, Myron Krueger semble s'être systématiquement situé dans l'entre-deux qui sépare les scientifiques et les artistes, les technologues et les académistes, les informaticiens et les pédagogues, les acteurs de performances^[4] et les programmeurs. Nous avons parlé de l'étrange histoire de sa vie et Krueger l'admet : « Je ne me suis jamais forcé à appartenir à telle ou telle catégorie. » Les années 90 ont commencé à lui apporter la reconnaissance qu'on aurait pu lui accorder il y a vingt ans. Lorsque matériel et du logiciel nécessaires à la RV auront évolué jusqu'à paraître imperceptibles, on s'attellera à réfléchir réellement à ce que l'homme peut tirer des pouvoirs uniques attachés à ce nouveau média. Les futurs chercheurs en RV feront alors bien de se souvenir de ce que Krueger dit depuis vingt ans : « La réaction, voilà le vrai média ! »

[NdT 4] Performance au sens anglais du terme, c'est-à-dire une représentation théâtrale, préparée ou improvisée, faisant intervenir gestuelle, déclamation, accessoires, etc.

Krueger pense depuis le début de sa quête — qui l'a conduit à produire quantité de montages électronique faits maison et des dizaines de milliers d'heures de programmation — que les effets visuels et auditifs, les images de synthèse, les périphériques de saisie et d'affichage, ainsi que le logiciel pilotant le tout peuvent être considérés comme des outils favorisant de nouveaux comportements humains. Il est bon et nécessaire de s'intéresser aux outils, admet Krueger, mais de grâce, ne continuons pas à ignorer les aspects comportementaux, psychologiques, sociaux et artistiques de la RV, poursuit-il.

Au centre de tout système de RV se trouve une expérience humaine, celle d'être présent dans un monde surnaturel ou distant. Le principal instrument du cyberespace, c'est l'attention. Les peintres, les poètes, les médecins, les enseignants, les sages et les auteurs de théâtre peuvent probablement apporter leur contribution à notre recherche expérimentale en RV, et l'on apprendra beaucoup à inventer de nouvelles expressions artistiques. De même que les Impressionnistes furent responsables d'une petite révolution perceptuelle de la peinture à l'huile — au moment du triomphe de la révolution industrielle —, en partie par réaction contre une vision du monde mécaniste favorisée par l'avènement de la photographie, les artistes du futur devront se servir de machines de RV comme de pinceaux ou de violons, et peindre le silence comme eux seuls le peuvent. Si l'art consiste à voir le monde de manière originale, et si la RV est un instrument de création de mondes, des artistes pourraient nous apporter des éléments de réponse à la question clef suivante : Si, à terme, notre technologie nous permet de créer n'importe quelle expérience désirée, quelle type d'expérience devons-nous désirer ?

Comme d'autres figures de la saga de la RV, Myron Krueger a connu un certain nombre d'expériences qui en ont fait un « converti » (à la cause de la RV), et qui l'ont poussé à poursuivre sa vision personnelle du cyberespace pendant deux décennies. Je l'ai rencontré presque exactement vingt ans après l'inauguration de GLOWFLOW.^[5] En avril 1969, en effet, les visiteurs de la Memorial Union Gallery (« Musée commémoratif de l'Union ») de l'Université du Wisconsin, à Madison, purent assister et même participer à l'événement qui allait lancer Krueger sur la voie de la réalité artificielle (expression qu'il commença à utiliser dans ses rapports vers 1974). GLOWFLOW ne faisait pas appel aux images de synthèse mais proposait des effets spéciaux visuels obtenus par utilisation d'autres techniques. Dans l'ombre, des mini-ordinateurs, des synthétiseurs de sons et des entrelacs de tuyaux remplis de fluides colorés et phosphorescents transformaient le noir de la pièce dans laquelle ils se trouvaient en quelque chose de jamais vu auparavant. Krueger, qui était alors étudiant et avait été invité à participer au projet GLOWFLOW, s'est depuis efforcé de travailler à mettre en œuvre l'environnement réactif parfait, une « réalité artificielle » enveloppant les utilisateurs sans les encombrer de gants ou de visiocasques.

[NdT 5] Que l'on pourrait traduire par « Fluides et Lumière ».

GLOWFLOW tirait parti d'un environnement audiovisuel piloté par ordinateur pour donner aux participants l'impression d'être dans un espace réagissant à leur attention et à leur comportement. Des colonnes apparemment opaque et des tuyaux horizontaux transparents étaient disposés le long des murs de l'environnement GLOWFLOW. Des particules phosphorescentes étaient suspendues dans de l'eau pulsée périodiquement dans les tuyaux, à travers les colonnes dans lesquelles des lumières cachées activaient temporairement le phosphore : des vecteurs lumineux flottaient dans l'espace avant de se dissoudre dans l'obscurité. Les motifs changeaient en fonction des instructions fournies par l'intermédiaire du mini-ordinateur caché derrière un panneau ; le light show était complété de sons synthétisés. La partie réactive de l'environnement était enfouie dans le sol, qui était équipé de plaques sensibles à la pression. Le public commandait ainsi les lumières et les sons sans être bien conscient de ce rôle qu'il tenait. A la différence des outils de RV d'aujourd'hui, les mécanismes de GLOWFLOW étaient pour la plupart invisibles. Mais l'effet produit sur les gens qui y participaient était extraordinaire.

Voici ce qu'écrivait Myron Krueger en 1983 sur GLOWFLOW :

Les artistes qui avaient sollicité son concours s'étaient engagés à maintenir une atmosphère contemplative dans la pièce. Krueger, lui, souhaitait se concentrer sur la perception par chaque participant de son influence sur les lumières et les sons. La création audiovisuelle était superbe, mais Krueger s'intéressait plus au type de réactions provoqué chez les gens par l'endroit. Pour lui, GLOWFLOW pouvait être un instrument d'investigation d'un territoire psychologique inconnu sur lequel ils avaient levé le voile. Mais les artistes insistèrent pour que des temps de latence existent entre action et réaction et pour que d'autres moyens de cacher la relation entre action des participants et réaction de l'environnement soient mis en œuvre. Krueger décida alors de bâtir un environnement artificiel qui serait fondé sur les aspects qui l'intéressaient le plus.

Très tôt, Krueger avait estimé que si le recours aux ordinateurs pour apporter un plus aux arts visuels, musicaux et dramatiques était légitime, aucune des applications existantes ne tirait parti des propriétés uniques de l'informatique. De fait, personne n'avait même sérieusement essayé de déterminer ces dernières. Il commença à distinguer les contours d'un art informatique propre. Mieux : à la suite de GLOWFLOW, il vit comment expérimenter dans ce sens et tester les hypothèses qu'il avait formulées. Ces expériences étaient amusantes en elles-mêmes, mais Krueger pensait également que les « environnements réactifs », comme il commençait à les appeler, constituaient les champs de recherche d'une harmonisation entre l'homme et ses environnements technologiques, qui changeaient des réactions de crainte que ces nouveaux outils suscitaient souvent.

Krueger estime toujours aujourd'hui que l'art informatique a pour composante principale l'interaction : « Les autres emplois artistiques de l'ordinateur sont intéressants », admet-il, « mais ils ne représentent pas une forme nouvelle d'art née grâce à la machine. » Krueger ne cherchait pas à nier la légitimité des autres formes d'art par ordinateur ; il désirait simplement montrer que les dimensions les plus pertinentes de cet art restaient à découvrir, et que les œuvres d'art ainsi créées pouvaient être des instruments d'investigation. Il construisit ce type d'outils dans des laboratoires électroniques, les exposa dans des galeries d'art et les utilisa dans le cadre d'expériences socio-culturelles. Pour Krueger, les environnements réactifs sont tout à la fois des laboratoires d'expérimentation en enseignement, en psychologie, en expression artistique et en informatique. Les participants à ces expositions-expériences étaient très excités, mais tant les observateurs du champ artistique que ceux du champ scientifique réagissaient sans bien comprendre de quoi il retournait. Les environnements réactifs que Krueger concevait et réalisait n'étaient pas le genre d'œuvre ou même de performance auxquels les artistes étaient habitués. Il ne s'agissait pas de tableaux reproductibles, ou de morceaux de musique dus à tel compositeur, mais de réalités tout à fait artificielles qui exposent des réflexes socio-culturels normalement invisibles et dégagent des occasions de communiquer en général absentes, qui invitent à certains types de comportement et dissuadent de certains autres, qui amplifient tels mécanismes de la pensée et du comportement humain et en masquent tels autres.

A la suite de GLOWFLOW, Krueger concocta un nouvel environnement réactif. METAPLAY^[6] fut exposé un peu plus d'un an après GLOWFLOW, en mai 1970, et toujours au Memorial Union Gallery de Madison. (Krueger aime depuis toujours les majuscules, en souvenir du temps où les ordinateurs ne pouvaient afficher qu'elles.) Pour Krueger, « Les critères traditionnels d'art, de beauté et de finesse furent mis de côté. L'accent principal portait sur l'interactivité et sur la perception de celle-ci par les participants. » Avec METAPLAY, financé par la National Science Foundation (« Fondation nationale pour la science ») et par le département informatique de l'Université du Wisconsin, Krueger allait au-delà des traits de lumière et des sons synthétisés de GLOWFLOW : il faisait appel à des caméras vidéo, à des projections d'images, à des outils d'infographie et à huit cents contacteurs à pression. Il avait convaincu Digital Equipment Corporation de lui prêter un mini-ordinateur PDP-12 (descendant du PDP-1 qui avait « converti » Licklider et ancêtre des ordinateurs Digital d'aujourd'hui qui servent de moteurs de réalité dans plusieurs centres de recherche.)

[NdT 6] Que l'on peut traduire par « Métajeu ».

Un des murs de la pièce dans laquelle était donné METAPLAY avait été remplacé par un écran blanc de 2,50 mètres sur 3 ; un projecteur vidéo était caché derrière l'écran, ainsi qu'une caméra vidéo dirigée sur la « zone de participation ». Les participants pouvaient se voir à l'écran, et leur image était parfois superposée à des images de synthèse. Les contacteurs à pression étaient disposés au sol, camouflés par un tapis de plastique noir. L'interaction entre l'environnement et les participants était supervisée par un médiateur humain, qui en suivait le déroulement par l'intermédiaire de moniteurs vidéo, depuis un centre de commande situé dans un autre bâtiment.

A l'intérieur de la chambre METAPLAY, les participants regardaient l'écran sur lequel était projeté leur image. Dans le centre de commande, à un demi-kilomètre de là, une tablette à dessin électronique permettait au superviseur de créer des dessins sur un des premiers ordinateurs graphiques spécialisés, de marque Adage. Une caméra vidéo était pointée sur l'écran de l'Adage, et le signal vidéo ainsi obtenu était mélangé à celui des participants de METAPLAY. Le superviseur commandait la superposition des deux signaux, et différents boutons et commandes lui permettaient de rapetisser et d'agrandir l'un ou l'autre, ou de leur appliquer d'autres effets spéciaux.

Espérant provoquer une réaction au sein d'un des premiers groupes de participants à METAPLAY, Krueger fit appel à la tablette graphique pour superposer à la main d'un des participants un halo lumineux. Lorsque le participant déplaçait sa main, Krueger se dépêchait de redessiner le halo à la nouvelle position. Le participant renversa alors les rôles et fit passer Krueger du statut de « farceur » invisible à celui de collaborateur artistique : il commença à se servir de son doigt comme d'un pinceau et mima le dessin d'un trait dans l'espace. Krueger dessina le trait correspondant, qui apparut à l'écran, au vu de tous les autres participants. A partir de là, l'environnement METAPLAY et son superviseur caché se transformèrent en un outil magique de dessin dans l'espace. Les participants découvrirent qu'ils pouvaient se passer le pouvoir du « doigt magique » de l'un à l'autre en se touchant du doigt. Ainsi, une possibilité inhérente au système mais qui n'avait pas été imaginée explicitement par son créateur s'était révélée par l'interaction. Les participants avaient joué de cet espace artificiel et avaient découvert un nouvel outil. Et le superviseur avait « métajoué » des réactions des participants pour attirer leur attention sur cette possibilité nouvelle.

Son expérience suivante, en 1971, s'appelait PSYCHIC SPACE, et se voulait un « environnement composé ». Les murs et le plafond étaient recouverts de plastique noir, le sol comportait six rangs de huit contacteurs à pression de un mètre de côté, et une fausse cloison servait à camoufler un projecteur mural dirigé sur le mur phosphorescent et une caméra. Comme dans l'expérience précédente, les signaux vidéo et ceux provenant des capteurs au sol étaient acheminés vers une cabine de commande située au centre de calcul à l'autre bout du campus, où ils étaient traités grâce à un ordinateur, les signaux résultants et mélangés à des graphiques informatiques étant renvoyés aux participants en temps réel. Ainsi, une relation étroite était assurée entre les mouvements des participants et les réactions audiovisuelles de l'environnement.

PSYCHIC SPACE était un outil de création de réalités variées. Dans l'application appelée « le Labyrinthe », Krueger avait conçu une interaction amusante basée sur le grand écran et les capteurs de position au sol. Seul à l'intérieur de PSYCHIC SPACE, un explorateur du labyrinthe s'aperçoit qu'un symbole à l'écran matérialise sa position dans la pièce ; lorsqu'il avance, le symbole se rapproche du haut de l'écran, lorsqu'il recule, il se déplace vers le bas. Les mouvements à gauche et à droite sont également reproduits à l'écran. Une fois la relation entre sa position et celle du symbole à l'écran comprise par le participant, un deuxième symbole vient s'afficher à une autre position à l'écran. Dans presque tous les cas, le participant se dirige vers l'endroit de la pièce symbolisé, pour voir ce qui se produit lorsque les deux symboles sont superposés. A ce moment-là, un parcours labyrinthique apparaît à l'écran ; le participant se déplace alors dans le noir et suit le parcours de ce labyrinthe virtuel en se basant sur la progression du symbole qui le représente à l'écran.

Une fois qu'il avait atteint son but, néanmoins, un autre labyrinthe était affiché, et le participant se rendait compte plus ou moins rapidement qu'il n'y avait pas moyen de « gagner ». Lorsqu'il se décidait à « tricher », et que le labyrinthe répliquait en ajoutant une barrière « infranchissable », ou en faisant reculer une cloison indûment franchie d'un carré pour en réaffirmer le rôle, le but de l'interaction apparaissait plus clairement : il s'agissait de jouer avec les barrières mentales que nous nous imposons à nous-mêmes, comme avec les règles bien élastiques de ce labyrinthe virtuel. Ce jeu inventé par Krueger, mis en œuvre grâce à un ordinateur, s'appuyant sur des mouvements et sur la perception visuelle de signes, était mis en scène dans PSYCHIC SPACE pour créer un espace virtuel qui n'existait presque que dans l'esprit de ses participants. Ce « psycho-espace » caché dans la pénombre de la pièce en question avait donc été engendré par un processus d'expérimentation et de découverte.

Entre 1972 et 1974, les expériences de Krueger sur différents systèmes de suivi de position et de projections vidéo interactives débouchèrent sur la création d'un instrument universel de réalité artificielle. Après PSYCHIC SPACE, Krueger travailla à la réalisation de VIDEOPLACE. Même si une première version en fut exposée en octobre 1975 au Milwaukee Art Center (« Centre des arts du Milwaukee »), cet environnement était conçu pour évoluer continuellement sur une période de plusieurs années. Maintenant qu'il connaissait un peu les possibilités offertes par l'alliance de techniques de mixage vidéo, d'infographie et de suivi de position et de gestes, Krueger comprenait quel supplément de puissance il pourrait tirer de l'accroissement important de la puissance de calcul ménagé par l'évolution technique rapide de l'époque. La reconnaissance des formes, notamment — c'est-à-dire par exemple la mise en œuvre d'un logiciel pouvant analyser une reproduction vidéo d'une personne et déterminer si son doigt pointe vers un objet de l'écran —, ne pouvait être envisagée avec les ordinateurs des années 60, mais ceux de la fin des années 70 permettaient de rêver à un système qui ne se contenterait pas d'enregistrer les positions ou les mouvements de participants à un environnement réactif, mais qui pourrait les reconnaître.

Vers le milieu des années 70, VIDEOPLACE, qui était alors devenu un vrai laboratoire de réalité artificielle, s'était déplacé à l'Université du Connecticut. Ce concept d'environnement nouveau, créé par des perceptions humaines elles-mêmes stimulées par l'audiovisuel et l'informatique, resta un thème majeur de ses expériences. Dans un rapport fait en 1977 pour la National Computer Conference (« Congrès national sur l'informatique »), Krueger écrivit ce qui suit sur VIDEOPLACE, explicitant ainsi ses réflexions sur les « réalités artificielles » qu'il élaborait :

Les premières versions de VIDEOPLACE étaient constituées de deux pièces ou plus, séparées l'une de l'autre par une distance plus ou moins grande. Des caméras vidéo, des tables de mixage et des projecteurs permettaient aux gens d'une pièce d'interagir avec les reproductions vidéo de ceux des pièces distantes. Krueger avait remarqué depuis un certain temps que les gens s'identifient de manière forte, quasi physique, avec leur image vidéo, même sous forme de silhouette. Au cours d'une des premières expériences, alors que Krueger et son assistant, qui se trouvait dans l'une des autres pièces, se servaient de silhouettes vidéo de leurs mains pour désigner des objets de leur espace vidéo commun, il fit passer sans prendre garde l'image vidéo de sa main juste sur celle de son assistant. Immédiatement, l'assistant déplaça sa propre main, comme si elle avait été réellement touchée. Ainsi, d'une manière quelque peu viscérale, le mélange des images de gens différents dans un même espace vidéo visible par eux tous créait un espace de communication d'un genre nouveau, dans lequel existait également une sensibilité de chacun au territoire de son corps virtuel.

De quelle manière pouvait-on exploiter ce média étrange et hybride ? « Il faut laisser les gens jouer avec et le découvrir », a toujours affirmé Krueger. Comme il l'écrivit plus tard dans un article pour le magazine Leonardo, consacré à la confluence des arts et des techniques : « Dans VIDEOPLACE, deux forces culturelles fondamentales — la télévision, pourvoyeuse d'expériences passives, et l'ordinateur, symbole d'une technologie quelque peu menaçante — ont été mariées pour produire un moyen d'expression destiné à inviter à la communication par le jeu et à susciter la participation. »

Le concept du « visiophone » a été monté en aiguille par la presse depuis des années, mais les expériences de télécommunication audiovisuelle n'ont jamais eu beaucoup de succès. Il faut toutefois remarquer qu'avec le visiophone, l'image vidéo de chaque interlocuteur reste inscrite dans leur espace physique respectif. L'apport crucial de Krueger à ce concept fut de rassembler les images vidéo des interlocuteurs en un seul « lieu » visible de tous. Dès 1977, Krueger reconnut que ses recherches portaient tout autant sur une nouvelle forme de communication que sur un moyen nouveau d'utilisation des ordinateurs, proposition qui garde aujourd'hui d'autant plus de sens que les compagnies japonaises de télécommunications investissent des dizaines de millions de yens dans la recherche en communication par RV :

Physiquement, la zone accessible au public de VIDEOPLACE est une chambre d'environ 7 mètres sur 5, équipée d'un écran vidéo mural et d'une caméra vidéo. Le matériel utilisé pour capter et projeter les images mélangées à des objets infographiques reste essentiellement le même que dans les expériences précédentes. Ce que Krueger avait cherché à développer cette fois-ci, c'était les portions du systèmes susceptibles de réagir de manière plus « intelligente » aux comportements des participants. Il avait pour cela fait appel à du matériel spécialisé et à des techniques logicielles particulières de reconnaissance de formes. De manière à simplifier cette tâche, Krueger avait décidé depuis longtemps de travailler sur les silhouettes coloriées des participants et de laisser à plus tard le traitement des images vidéo complètes. En travaillant sur des silhouettes, en effet, il devenait possible d'analyser les images en concentrant l'analyse sur les points et les lignes de chaque image. Et en appliquant à ce premier niveau de données un certain nombre de transformations mathématiques, des décodages automatiques de niveau supérieur devenaient possibles : déterminer les bords d'un objet ou d'un personnage, repérer les intersections d'objets, détecter l'orientation de telle ou telle ligne.

Les courbes pouvaient être distinguées des lignes droites, les mouvements de l'immobilité. L'ensemble des possibilités de ce système constituait les pièces d'un jeu de construction permettant de créer en temps réel un modèle de l'activité captée par la caméra vidéo : on enseignait ainsi à l'ordinateur à reconnaître automatiquement si une personne désignait un objet du doigt, si elle sautait en l'air ou se déplaçait, et à réagir à cette action de manière adéquate en temps réel.

Lorsqu'on s'attache à imiter ou à tromper les perceptions humaines grâce à la technique, on doit faire face au problème suivant : les sens perceptifs de l'homme vont bien au-delà de ce que peut faire la technique actuelle. La mise en œuvre d'un système de reconnaissance de formes simples sur un ordinateur universel entraîne une somme de calculs telle qu'il devient difficile de les faire en temps réel ; l'interactivité, à la base des travaux de Krueger, baisse lorsqu'on augmente « l'acuité » de la reconnaissance des formes. Une image simple, peut-être un peu floue, peut être affichée à l'écran et déplacée rapidement, tandis que si l'image souhaitée est plus précise, plus nette, il n'est plus possible de la déplacer aussi rapidement.

Ainsi, l'ajout d'« intelligence » au système sans entraîner un ralentissement de l'ensemble représentait un défi technique de première grandeur. Krueger, autodidacte en matière d'électronique, procéda de même qu'Ivan Sutherland, confronté au challenge de la création du premier visiocasque, lorsqu'il avait réalisé son masqueur diviseur et son multiplicateur matriciel pour assurer des fonctions spéciales à très grande vitesse : en faisant appel à ce qu'on appelle des « logiques câblées » (des circuits électroniques conçus pour un usage bien précis) plutôt qu'en programmant un ordinateur universel pour aboutir à un résultat bien plus lent. Les ordinateurs dits « universels » (c'est-à-dire non spécialisés) peuvent accomplir nombre de tâches assez rapidement, en tout cas du point de vue de l'utilisateur humain. Ce qui ne signifie pas qu'ils puissent effectuer à grande vitesse n'importe quelle tâche. Les images de synthèse et l'infographie exigent des calculs nombreux et intensifs. En ce qui concerne la reconnaissance de formes qui nous occupe, plus l'on souhaite de précision dans le suivi des mouvements, plus la fréquence d'analyse des données doit être grande, et plus le traitement et la restitution de ces données sont longs. Si en revanche on construit un processeur spécialisé dans ce type particulier d'analyse, ce sont les circuits électroniques que l'on fait directement travailler pour cela, sans avoir à passer par plusieurs couches de logiciels conçus pour gérer toutes les tâches concevables. C'est ainsi qu'on obtient des vitesses de traitement bien plus élevées que sur des ordinateurs universels. Krueger réalisa donc des processeurs spécialisés — en 1990, il en était à douze —, pour traiter des sous-fonctions critiques du système de reconnaissance de formes. Chaque processeur « maison » ajouté au cours des années à VIDEOPLACE consistait en un algorithme de traitement visuel optimisé et gravé dans le silicium, une logique câblée qui avait le même but qu'un logiciel de reconnaissance de formes idoine, mais l'atteignait bien plus rapidement.

« Nous avons des processeurs chargés de déterminer si une ligne est longue et fine ou courte et épaisse, d'autres pour évaluer les courbes et détecter les changements, d'autres encore qui comptent les intersections de lignes et d'autres enfin pour repérer les bords d'un objet », expliqua Krueger lorsque nous nous entretînmes en 1990. Il voulait arriver à examiner une silhouette vidéo et à déterminer automatiquement si la personne faisait un geste ; cette quête correspondait à l'un des problèmes de robotique et d'intelligence artificielle (IA) les plus ardus.

Toute cette architecture matérielle et logicielle tient compte d'une notion que Krueger pense être majeure à tous les niveaux de la recherche en réalité artificielle : la notion de contexte. On la retrouve ainsi dans les mondes modélisés créés sur ordinateur universel. Dans le contexte du corps humain, la ligne la plus élevée d'une silhouette correspond au dessus du crâne, l'extrémité la plus à droite d'une forme effilée équivaut au bout d'un doigt, et dans le contexte d'une « grammaire » gestuelle commune à tous, le bout du doigt est un indicateur qui signifie qu'il faut porter son attention sur ce vers quoi pointe le doigt. Le contexte peut être psychologique ou social : la tendance naturelle de l'homme à résoudre un problème qui lui est posé était prise en compte dans le contexte du labyrinthe. Les ombres, la perspective, la parallaxe et d'autres indices visuels forment le contexte perceptuel de l'expérience cognitive constituée par l'immersion dans un monde à trois dimensions. Une capacité de reconnaissance intuitive de la texture de certaines formes complexes nous permet d'appréhender de manière simple des aspects clefs d'un système compliqué. Nos yeux semblent dotés d'une « logique câblée » leur permettant de détecter les bords des objets, les objets se déplaçant à grande vitesse, des points rouges, la faible luminosité, des mouvements de petite amplitude dans un environnement vaste. Il s'agit là de l'une des capacités qui nous permettent de réduire la masse de « calculs » nécessaires pour effectuer le genre de reconnaissance de formes auquel nous nous livrons à chaque seconde, sans même y penser.

CRITTER,^[7] une expérience faisant appel à VIDEOPLACE pour tester une créature artificielle sensible au contexte, est un personnage de dessin animé ressemblant à une espèce d'insecte et qui joue avec l'image vidéo du participant. Vous entrez dans la pièce, et à l'écran mural, votre silhouette est bleue sur fond rouge. Vous êtes seul(e) dans la pièce, mais à l'écran, vous avez un petit compagnon à quatre pattes, jaune et rond, qui court d'un coin à l'autre en restant hors de votre portée. Si vous le pourchassez, CRITTER vous échappe. Si vous vous arrêtez, il s'approche de vous ; si vous vous éloignez de lui, il vous suit. Si vous vous immobilisez en tendant la main, CRITTER se pose dessus. Si vous repartez, CRITTER s'accroche à votre silhouette jusqu'à ce que vous vous arrêtiez de nouveau, puis il grimpe le long de votre silhouette. Lorsqu'il arrive pour la première fois sur le sommet de votre tête, il dance une gigue. S'il y parvient une deuxième fois pendant la même séance, il y marche de long en large si vos bras sont collés au corps, mais exécute un grand saut pour atterrir sur votre main si votre bras est tendu à hauteur d'épaule. En fonction de vos déplacements, et de vos interactions avec lui, CRITTER peut accomplir dans l'espace virtuel de VIDEOPLACE des « tours » étonnants, qu'on penserait dignes d'un être vivant. A ce jour, les lignes de programme qui composent la personnalité de CRITTER se comptent en dizaines de milliers.

[NdT 7] Que l'on peut traduire par « Bébête ».

Au moment où je me trouvais dans le Connecticut, à l'été 1989, VIDEOPLACE était en cours de déplacement pour le Japon, où Krueger et la dernière version de son « laboratoire » devaient passer une semaine à l'occasion de la cérémonie d'inauguration d'une des « Cité des Sciences » japonaises. Je m'étais décidé à venir le voir, malgré ce déplacement de son matériel, pour pouvoir poursuivre la conversation qui avait commencé dans ma cuisine. Les équipements dont il se sert paraissent bizarres, voire archaïques à côté des visiocasques et autres cybervêtements auxquels font appel les autres laboratoires de recherche en RV ; en revanche, Krueger a certainement passé beaucoup plus d'heures que tout autre chercheur en RV à bâtir et à tester des espaces artificiels. Il passa me prendre à Hartford dans sa voiture de location. Nous nous dirigeâmes vers Storrs, puis traversâmes le campus. Son Laboratoire de réalité artificielle est situé à l'arrière du Muséum d'histoire naturelle de l'état du Connecticut, dans une pièce dont l'odeur me rappela exactement les autres muséums d'histoire naturelle dans lesquels me traînait ma mère lorsque j'étais enfant. Plusieurs rangées d'oiseaux de proie — faucons, orfraies —, « la plus belle collection d'oiseaux empaillés de Nouvelle Angleterre », me regardaient silencieusement de leurs vitrines. Hauts plafonds, écho des pas, atmosphère musquée et fraîche d'un musée un jour d'été.

L'un des matériels que Krueger avait expédiés au Japon était une version de table de VIDEOPLACE : VIDEODESK. Une caméra située au-dessus de votre bureau capte l'image de vos mains, ou plutôt de leurs silhouettes ; une autre caméra placée au-dessus du bureau de votre interlocuteur filme également ses mains. Dans un espace vidéo commun, vous pouvez faire appel à vos mains pour faire des gestes et désigner du texte ou des dessins. « Cela revient à libérer une partie de votre bureau. Plus besoin de souris ou de clavier physique : un geste suffit à faire afficher un clavier sur votre bureau artificiel. On peut peindre avec les doigts ou, grâce à un système de dessin en trois dimensions, sculpter à la main de l'argile n'ayant d'existence que graphique. » Comme toujours en quête du Graal, comme toujours trois pas en avance sur l'« état de l'art », comme toujours en légère désynchronisation par rapport à tous les autres et comme toujours en déficit de financement, Myron Krueger fonce vers les années 90 pied au plancher. La dernière fois que je lui ai parlé, il négociait avec une rock star d'audience internationale, afin de réaliser pour elle les attractions d'un parc à thème, travaillait sur un système de saisie gestuelle pour un des principaux constructeurs de micro-ordinateurs et préparait les premiers plans d'une exposition en Espagne.

Je me rendis finalement au Japon six mois après Krueger. VIDEOPLACE avait été utilisé dans le cadre d'une manifestation appelée, dans cet anglais un peu guindé des Japonais, Wonderland of Science/Art (« Pays des merveilles de la Science/des Arts »). Il s'agissait d'une cérémonie d'une semaine célébrant l'ouverture du Parc des Sciences de Kanagawa, un complexe de recherche et de développement financé par une préfecture de la banlieue de Tokyo. VIDEOPLACE était installé dans un laboratoire situé dans un des quatre bâtiments de vingt étages qui composaient le nouveau complexe. En fait, il s'avéra que les Japonais n'étaient pas aussi intéressés par « la Science/les Arts » que cela, mais qu'en revanche ils cherchaient ardemment à élaborer le genre d'outils de communication dont Krueger avait rêvé pendant des années.

Au cours de toutes ces années, d'autres expériences du même type avaient engendré elles aussi une certaine culture « multimédia » d'avant la RV. Dans les années 70, Kit Galloway et Sherrie Rabinowitz firent appel au concept d'espace vidéo pour une expérience géographique appelée Hole in Space (« Un trou dans l'espace ») : Un très grand écran vidéo et une caméra avaient été montés dans un lieu public à New York ; une installation du même type avait été placée à Los Angeles. Le reste de l'expérience dépendait des gens qui lui étaient confrontés. Les gens commencèrent à établir des contacts. Le bouche à oreille fonctionna et de plus en plus de monde s'appelait au téléphone pour se fixer rendez-vous au « Trou dans l'espace », qui fonctionnait parfois en continu pendant plusieurs jours. Il s'agissait d'un lieu fait d'électrons et de gestes, créé par l'homme et la technologie, qui permettait d'explorer les limites d'un nouveau moyen de communication. Un projet analogue, « Co-présence électronique », fut entrepris à la fin des années 80 au PARC de Xerox. Sur le mur d'une pièce du PARC était projetée l'image vidéo d'une pièce d'un autre site de Xerox dans l'Oregon. Les gens programmaient des réunions, ou bien se contentaient de passer un moment de leur côté de cet espace vidéo interactif en temps réel, pour une petite conversation de couloir. Au cours de mes enquêtes préliminaires à ce livre, je fus le témoin, au Japon et en Hollande, de tentatives de reproduction des travaux de Krueger et d'autres précurseurs sur les espaces vidéo communs.

Même s'il précéda tout le monde dans un certain nombre de voies de recherche que l'on a reprises aujourd'hui de Kyoto à Eindhoven, Krueger ne s'inscrivait pas vraiment dans le courant principal des premiers travaux en RV. La réalité virtuelle que nous connaissons aujourd'hui n'a pas pour origine directe les travaux de Heilig et de Krueger, mais plutôt la confluence de l'informatique, de la stéréoscopie et de la simulation, obtenue dans des laboratoires universitaires, privés et militaires. La RV d'aujourd'hui a émergé en divers lieux au tournant des années 70 et 80. Frederick Brooks, Stephen Pizer, Henry Fuchs et d'autres informaticiens ont fait progresser l'état de l'art depuis la fin des années 60 à l'Université de Caroline du Nord (Brooks situe plus précisément le début de ces efforts en 1967). Le programme « Supercockpit » de Thomas Furness pour l'US Air Force a correspondu à vingt ans de subventions pour la recherche sur les visiocasques à la Base aérienne Wright-Patterson. A la fin des années 70, Scott Fisher a travaillé au MIT sur les affichages stéréoscopiques interactifs pour permettre ce qu'il appelait l'« exploration virtuelle ». Negroponte et d'autres ont développé la « transmission de la présence » au MIT. Mais c'est surtout à Mountain View, en Californie, qu'une nouvelle vague de « conversions » à la cause de la RV eurent lieu.

Le champ de la RV commença à cristalliser lorsqu'une combinaison appropriée de financiers, de visionnaires, d'ingénieurs et de technologies catalyses fut obtenue au Centre de recherche d'Ames de la NASA, à Mountain View, au milieu des années 80. C'est là qu'un spécialiste des interfaces homme-machine, un chercheur en sciences cognitives, un programmeur de jeux d'aventure et un petit groupe de bricoleurs de génie assemblèrent les premiers prototypes de machines de RV de coût abordable. C'est là qu'une génération de cybernautes enfilèrent un visiocasque et un gant de saisie, pointèrent du doigt, survolèrent des mondes composés de structures filaires vert luminescent et retournèrent à leur laboratoire en rêvant aux applications de RV des années 90.

Quant à moi, l'un des aspects les plus étranges de mes rencontres avec ce groupe de gens et la machine cyberspatiale qu'ils avaient assemblée, c'était que j'en avais déjà rencontré la plupart plusieurs années auparavant. Cette toute première fois, je les avais vu pour ce que je croyais être un autre thème (les amplificateurs mentaux), mais cette filiation insoupçonnée de ma part est à la base de la réalité virtuelle : qui se lance dans la recherche sur les amplificateurs mentaux a toutes les chances, à un moment donné, de commencer à réfléchir à l'interface homme-machine idéale. Il y a sept ans, je faisais partie d'un groupe somme toute restreint d'observateurs du monde des techniques suffisamment informés des dernières recherches en informatique pour être au courant des travaux sur les visiocasques. Mais comme la plupart de mes confrères et consœurs, je ne me rendais pas compte du rôle majeur que joueraient ces visiocasques avant la fin de la décennie. En 1988, lorsque je vis le système mis sur pied par ces jeunes cybernautes, ce fut l'occasion de ma « conversion » personnelle, et je changeai d'avis quant à l'importance potentielle d'espaces informatiques habitables et quant à l'attrait en soi de l'expérience de la RV. Au cours des deux années qui ont suivi ce premier vol dans le cyberespace, j'ai rencontré des gens du monde entier qui ont été poussés à ouvrir leur propre laboratoire de RV après avoir fait connaissance avec cette même expérience à Mountain View.