Le toucher est le plus ancien de nos sens, celui qui occasionne nos réactions les plus rapides. Si un machairodus^[1] pose sa patte sur votre épaule, il vaut mieux que vous en soyez informé au plus tôt. Tout attouchement soudain, tout changement dans l'attouchement (du doux au piquant, par exemple) entraîne une brusque poussée d'activité de notre cerveau. [...] Lorsque nous touchons quelque chose volontairement — notre partenaire amoureux, la carrosserie d'une nouvelle voiture, la langue d'un pingouin —, nous mettons en branle le réseau complexe de nos récepteurs du toucher, qui envoient des impulsions lorsqu'ils sont exposés à une sensation, lorsque cette dernière change, lorsqu'une autre la remplace. Le cerveau lit ces impulsions comme un code Morse et enregistre les sensations lisse, granuleux, froid.

[NdT 1] Tigre préhistorique.

[...] Les recherches ont montré que si l'on pouvait dénoter quatre types principaux de récepteurs, il en existait beaucoup d'autres, adaptés à toutes sortes de stimulations. De fait, la palette de nos sensations relevant du toucher n'est pas limitée à la chaleur, le froid, la douleur et la pression. Ce sont par exemple plusieurs récepteurs distincts qui se combinent pour nous donner la sensation du pincement. Pensez à tous les types de douleur, d'irritation, d'abrasion ; à toutes les textures correspondant aux actions de lécher, de caresser, d'essuyer, de masser, de pétrir ; au picotement, au fourmillement, aux brûlures, au froissement, au grattement, aux tapes, aux baisers. A la craie que l'on se met sur les mains avant d'attraper une barre fixe. A un plongeon dans un lac par un beau jour d'été où la température de l'air est égale à la température de votre corps. A la sensation causée par une mouche suçant délicatement une goutte d'eau sur votre cheville. Au rite d'initiation de tel ou tel groupe qui vous voit, les yeux bandés, plonger la main dans un saladier de confiture. A la sensation de succion que vous éprouvez lorsque vous tirez votre pied d'un trou boueux. Au crissement du sable mouillé entre vos doigts de pied. A l'effet produit quand vous enfoncez un doigt dans un quatre-quarts. Au mélange quasi orgasmique de plaisir, de frissonnement, de douleur et de soulagement éprouvé lorsqu'on vous gratte le dos.

Diane Ackerman
A Natural History of the Senses, 1945

« A quoi cela vous fait-il penser ? » Margaret Minsky était assise devant sa station de travail dans la « fosse aux serpents ». J'étais assis à côté d'elle, la main posée sur une petite manette de commande qui ressemblait à celle d'un jeu vidéo. Une espèce de baguette en métal surmontée d'une balle de ping-pong, comme un levier de changement de vitesse. La partie inférieure de la baguette émerge d'une boîte rectangulaire en métal, elle-même reliée à l'ordinateur. Comme le bras ARM, cet appareil est capable de communiquer des forces en retour. Je remuai le manche dans toutes les directions ; vers l'avant, vers l'arrière, sur les côtés. Il passait facilement dans certaines directions, résistait fortement dans d'autres, et ces résistances cessaient parfois brusquement, comme si un obstacle venait d'être dégagé.

« A des morceaux de quelque chose de dur mais d'assez léger, plutôt glissants et mélangés sans ordre apparent », répondis-je.

« Il s'agit de glaçons virtuels dans un seau à glace virtuel. » Elle modifia la position d'un curseur à l'écran : « Et maintenant, un mélange de glaçons et de mélasse. » Instantanément, je sentis la mélasse. Je garderai à jamais, je crois, le souvenir de ce moment particulièrement étrange.

Je touillai du manche dans ce milieu virtuel qui avait soudain gagné en viscosité, tout en conservant sa multitude de corps durs et irréguliers. Il fallait faire un effort pour se convaincre qu'il n'y avait pas réellement de la mélasse et des glaçons dans ce boîtier. Mais à peine me faisais-je ce type de réflexion qu'une pensée encore plus étrange me venait : où se trouvait le bout du manche ? Si je portais mon attention sur le boîtier, j'avais en effet l'impression que le seau à glace se trouvait directement sous le manche de commande. Lorsque j'essayais de déplacer le manche, il résistait et glissait avec juste ce qu'il fallait de force, en relation exacte avec mes mouvements, ce qui me donnait l'impression de manier un objet physique au sein d'une substance physique.

« Voilà maintenant du papier de verre », annonça Minsky, en appelant à l'écran un motif en noir et blanc qui ressemblait effectivement à une vue grossie d'un morceau de papier de verre. J'approchai ma chaise de son moniteur vidéo ; elle remis le manche devant moi. Lorsque je le poussai, un curseur se déplaça au-dessus du motif affiché à l'écran. Dans le même temps, une succession de microforces légèrement vibratoires, ressenties au niveau du bout de mes doigts et de mes poignets par l'intermédiaire du manche, me donnaient l'impression que celui-ci était bien une espèce de stylo et que son extrémité courait sur un bout de papier de verre. La sensation était strictement identique à celle que j'aurais éprouvée si la situation avait été réellement celle-là.

« A quel endroit un objet virtuel est-il localisé dans l'espace physique ? » est une question quasi philosophique qui prend un tour concret et presque irritant lorsqu'on saisit pour de bon un tel objet. Cette question était très présente à mon esprit à ce moment-là. Je pouvais faire porter mon regard vers l'écran et observer le curseur se déplacer au-dessus de la simulation en noir et blanc et en 2D du papier de verre. Ce faisant, j'avais l'impression que le papier de verre était localisé à l'écran. Si je reportais mon attention visuelle sur le boîtier, je pouvais me convaincre à nouveau que l'extrémité du manche se trouvait bien là, et non à l'écran, au niveau du curseur. Mais si je faisais courir une fois de plus mon stylo virtuel sur le motif affiché, l'origine apparente du stimulus revenait à l'écran. Dans le cyberespace, la sensation de localisation est assez volatile. D'une certaine manière, les illusions de type haptique comme celles auxquelles m'exposait Margaret Minsky ébranlaient ma notion de ce qu'est la réalité bien plus que ne l'avaient fait mes explorations visuelles de mondes de dessin animé. Cette sensation de contact avec quelque chose de solide et doté d'une texture reconnaissable, combinée à un affichage rudimentaire en noir et blanc et en 2D, remettait en question une croyance fondamentale que j'avais eu jusqu'ici : ce que je touchais physiquement du doigt ne pouvait être que réel.

Minsky me montra comment faire varier différents paramètres de la simulation de texture pilotée par l'ordinateur, ce qui entraînait à la fois une modification du motif affiché à l'écran et un changement dans la manière dont le manche réagissait à mes actions. On pouvait définir différents grains de papier de verre. A un autre moment, je vis s'afficher des représentations de rangées de cylindres à l'aspect métallisé. Le manche donnait l'impression de parcourir avec un stylo une suite de tubes de métal poli, comme des tuyaux d'orgue. Il y avait même une option permettant d'exploiter des fractales : grâce à elle je pouvais ajuster les paramètres pour amener à l'écran un motif irrégulier qui faisait penser à un agrandissement de morceau de granit. Cette modélisation mathématique d'irrégularités naturelles communiquait à travers le manche une telle impression de réalité que ça en faisait presque peur ; j'aurais juré que j'étais en train d'essayer de graver mon nom sur de la roche. Minsky sourit. Elle savait ce qu'elle faisait en faisant débuter ma visite de son laboratoire par cette démonstration. Une fois que l'on a remué des glaçons et de la mélasse virtuels et que l'on a écrit sur de la pierre virtuelle, on est prêt à absorber la partie théorique de la présentation de manière moins académique et plus dramatique.

La « fosse aux serpents » est le surnom donné au laboratoire d'informatique graphique situé au sous-sol du Media Lab du MIT, à Cambridge, Massachussetts, lieu qui a fait du slogan « Démontrer ou mourir » un classique de la recherche en informatique. Des serpents de tissus vert de trois mètres de long — symboles modernes de ce laboratoire — habillent les dizaines de câbles de communication en paquet qui courent au plafond sans grande élégance. Je gardai la main sur le manche tout en discutant, et de l'autre, commandai à l'ordinateur de passer du papier de verre à la mélasse puis de revenir au papier de verre, et ainsi de suite, en une espèce de griffonnage tactile. Je comprenais ce que Margaret Minsky me disait sur la simulation de textures de manière profonde, quasi hypnotique, pendant que j'essayais de graver mon nom sur une plaque de verre virtuelle.

Je l'avais manquée de quelques semaines lorsque je m'étais rendu à Chapel Hill car elle était retournée à Cambridge terminer sa thèse de doctorat basée sur ses recherches à l'UNC. Jaron Lanier m'avait assuré, des années plus tôt, qu'elle avait été l'une des premières à le soutenir lorsqu'il avait voulu développer un gant de saisie pour compléter son langage de programmation visuel. Et j'avais pu assister à sa présentation du SIGGRAPH 89, qu'accompagnait la vidéo de cette visite virtuelle très réaliste de Sitterson Hall que j'avais ensuite pu faire moi-même lors de mon passage à l'UNC. J'avais donc envoyé un message électronique à Minsky avant d'entamer mon enquête, et elle m'avait répondu que je pouvais passer la voir pour faire l'essai de son « papier de verre virtuel ». Après cette courte démonstration, je ne doutai pas qu'elle travaillait là sur quelque chose d'important. L'adaptation de la technique du manche de commande à l'appréhension du toucher dans les mondes virtuels est un problème d'ingénierie plutôt ardu. Mais, au moins, l'ingénierie relève-t-elle de bases scientifiques solides, et les scientifiques poussent-ils ainsi des ingénieurs à résoudre tel ou tel problème ardu et les amènent à élaborer des instruments d'investigation scientifique nouveaux. De fait, Minsky faisait appel à un appareillage intelligemment conçu pour avancer dans la simulation du toucher.

C'est en suivant plusieurs chemins, tous intéressants, que Margaret Minsky a accédé au monde de la RV et au royaume de l'interaction haptique. Elle a grandi entourée d'ordinateurs et de programmeurs, en quelque sorte au centre du monde de l'informatique, puisque son père, Marvin Minsky, fut l'un des pionniers de l'« intelligence artificielle » (IA). Ses directeurs de thèse sont Nicholas Negroponte et Frederick Brooks, deux des pontes de l'informatique actuelle. Margaret est une informaticienne, mais de la génération Atari plutôt que de la génération « ordinateur central », et ce sont les jeux plutôt que des applications militaires ou commerciales qui ont constitué ses premiers terrains d'entraînement. Ses premiers collaborateurs au royaume du manche de commande étaient, au début des années 80, de jeunes inventeurs et de jeunes programmeurs du laboratoire de recherches d'Atari, à Cambridge. Et le manche de simulation de textures que je tenais en main n'avait pas pour ancêtre les leviers de télémanipulation de substances radioactives de l'UNC, mais le volant à retour d'effort de Hard Drivin', jeu (de salle) de simulation de conduite de voiture d'Atari.

« Vous voulez jouer à Hard Drivin' ? » me demanda Minsky après m'avoir fait les premières démonstrations. « Ce jeu et mes recherches ont un certain nombre de points communs » ajouta-t-elle, alors que nous quittions le Media Lab. Atari avait offert une de ces cabines de jeu au Boston Computer Museum, et sur un coup de téléphone de Minsky, le responsable du musée avait accepté d'ouvrir la partie — fermée ce jour-là — de l'établissement dans laquelle le jeu se trouvait. Nous poursuivîmes notre conversation sur l'origine des manches de commande en nous rendant au musée. On était aux premiers jours de l'automne ; il faisait encore doux, mais les arbres prenaient déjà une teinte rouge et or. Le Boston Computer Museum est situé tout près de l'endroit où eut lieu la fameuse « Boston Tea Party ».^[2]

[NdT 2] Episode de la guerre d'indépendance américaine au cours duquel les Américains saisirent plusieurs vaisseaux anglais ancrés dans le port de Boston et chargés de cargaisons de thé (qu'ils jetèrent à la mer), d'où le nom donné par la suite de façon ironique à l'affrontement.

Comme premier problème pilote lié au toucher virtuel, Minsky avait sélectionné la reproduction des sensations de texture. « Il me semblait qu'il valait mieux ne pas commencer par la sensation des formes », expliqua-t-elle. « On a affaire à une conjugaison d'aspects volumiques et surfaciques — texture, élasticité, viscosité, etc. — qui sont difficiles à distinguer les uns des autres. »

Minsky fit sa première expérience des manches à retour d'effort au début des années 80. En même temps que son laboratoire de Californie, Atari avait ouvert un laboratoire de recherches plus petit à Cambridge, Massachussetts. Max Behensky, que Minsky connaissait du MIT, travaillait avec un consultant du nom de Doug Milliken à réaliser un manche à deux degrés de liberté muni de moteurs de retour d'effort. Minsky était avec eux lorsqu'ils connectèrent leur premier modèle de manche à une puissante station de travail graphique. « Grâce à ce premier modèle, nous nous rendîmes compte qu'il était excitant de ressentir des forces comme l'inertie ou la viscosité en continu. » C'est précisément ce sentiment d'excitation après lequel couraient Behensky et Milliken. Le laboratoire Atari cherchait en effet à développer un jeu de salle à même d'extraire un maximum de pièces de monnaie des poches des gens, en leur proposant un simulateur de conduite viscéralement excitant, doté d'un volant qui répondrait de la même manière qu'un vrai volant de voiture. L'entreprise prit des années, mais elle aboutit à Hard Drivin', qui connut un très gros succès.

Nous fîmes un bref parcours à travers le musée en continuant à discuter au milieu d'ordinateurs Altair et Altos, monuments « préhistoriques », avant de prendre place au volant de la machine en question. Le siège du conducteur dans lequel je m'assis faisait face à ce fameux volant, et la cabine était également équipée d'un levier de changement de vitesses et de pédales. L'écran large et le son haute fidélité donnaient l'illusion de voir à travers le pare-brise d'un véhicule roulant dans un paysage de dessin animé. Il n'y avait pas l'impression de relief et d'immersion que j'avais éprouvée avec le Sensorama, mais c'est le volant lui-même qui fournissait la meilleure illusion dans ce jeu-ci. La manière étonnante dont on éprouvait la sensation du macadam en tournant le volant expliquait à elle seule l'engouement dont ce jeu bénéficia. De même, la façon dont une vraie voiture réagit aux différents types de revêtement à différentes vitesses, dûment modélisée, était transmise de manière très réaliste par l'intermédiaire du volant à retour d'effort.

Lorsqu'elle arriva comme jeune diplômée au Media Lab, Margaret Minsky avait collaboré au « Vivarium » d'Alan Kay, un projet de recherche à long terme qui visait à développer des créatures artificielles avec lesquelles des enfants pourraient faire des expériences. Minsky voulait réaliser un manche grâce auquel les enfants pourraient, d'une certaine manière, adopter le point de vue d'une de ces créatures. Elle demanda donc à ses anciens amis d'Atari de lui construire un outil analogue à leur premier manche à retour d'effort. « Une étudiante, Megan Smith, conçut un manche faisant appel à la fois à des moteurs et à des systèmes de freinage » me dit Minsky. Elle et Smith reçurent l'appoint d'un autre ingénieur en mécanique fraîchement diplômé, Massimo Russo, et à eux trois, ils réalisèrent un prototype à trois degrés de liberté. On était alors à la fin des années 80 ; on commençait à entendre parler des travaux de Ming Ouh-Young à l'UNC. « Frederick Brooks a toujours été à l'avant-garde de la recherche haptique », dit Minsky. « Batter et Brooks firent appel à leur manche à deux degrés de liberté en 1972 pour voir si leurs étudiants en physique pourraient s'en servir pour ressentir des champs de force simples et ce fut un épisode marquant de la recherche dans ce secteur. » Puis vint le bras télémanipulateur ARM. Minsky alla alors à Chapel Hill et fit équipe quelque temps avec Oliver Steele, étudiant de l'UNC, pour concevoir du logiciel de simulation de textures pour le manche à trois degrés de liberté.

Comment simuler la dureté ou la régularité d'une surface de manière suffisamment précise pour qu'on puisse l'éprouver des doigts ? Le secret de l'affichage tridimensionnel, par exemple, réside dans un certain nombre de trucs qui ont été découverts au fil des années de recherche — l'utilisation des ombres pour simuler les sources de lumière, les images stéréographiques pour simuler la vision binoculaire, la poursuite des mouvements de la tête pour simuler la parallaxe dynamique — mais Minsky et ses collègues ne disposaient pas des mêmes antécédents dans leur champ de recherche propre. C'est pourquoi un des objectifs de sa thèse de doctorat fut non seulement de mettre au point une méthode de simulation de textures, mais aussi de créer un banc d'essai sur micro-ordinateur pour permettre aux psychologues spécialisés d'étudier le b. a. ba de la perception haptique.

La simulation développée par cette équipe s'appuie sur une illusion haptique que vous pouvez reproduire vous-même. Pour cela, il vous faut un crayon ou un stylo et une surface striée, comme un morceau de carton ondulé ou la tranche d'un jeu de cartes. Faites passer le stylo sur les stries et concentrez-vous sur la sensation éprouvée au bout des doigts. Représentez-vous maintenant un agrandissement à grande échelle de cette surface striée, avec ses « collines » et ses « vallées ». Pensez ensuite à la manière dont le stylo résiste à vos efforts pour lui faire monter la pente de chaque strie — de chaque colline, pour reprendre l'image de votre agrandissement mental. Lorsque le stylo arrive en haut d'une des stries/collines, il y a un moment d'équilibre, puis la résistance à laquelle vous faisiez face semble disparaître rapidement au moment où la pointe du stylo glisse vers la « vallée » avant d'atterrir entre la strie qu'elle vient de passer et la suivante.

Une approche de la simulation de texture est donc de simuler la façon dont la pointe d'une sonde animée par des doigts se voit opposer une résistance plus ou moins forte lorsqu'elle parcourt une surface composée — simplifions — de bosses et de creux de tailles et de pentes variables. Les bosses et les creux peuvent être reproduits graphiquement. Prenez une onde sinusoïdale normale — toujours pour simplifier — ondulant de gauche à droite dans votre paysage mental. Tirez ensuite une ligne horizontale au-dessus des bosses de la sinusoïde. Si vous traciez alors des lignes verticales descendant de différents points de la ligne horizontale et s'arrêtant au niveau de l'onde, vous pourriez dire que chacune de ces lignes représente la force exercée par des ressorts virtuels, résistant fortement à la montée du stylo ou faiblement lorsque celui-ci redescend une bosse. Si le mouvement de ce stylo peut être modélisé dans l'ordinateur et si une coupe de la texture peut l'être également, la synthèse de ce modèle peut servir à déterminer la puissance à appliquer à de petits moteurs qui résisteraient à la poussée sur le manche.

La possibilité d'utiliser des moteurs pour simuler des forces exercées par des ressorts vient du fait que les réactions d'un ressort peuvent être décrites mathématiquement. En principe, les propriétés de tout système physique en mouvement peuvent être simulées en combinant de manière adéquate trois types d'objets génériques : des ressorts, des amortisseurs et des masses. C'est pourquoi l'information de position locale du manche, combinée à l'information de sa position au sein du monde virtuel, peut être intégrée dans une équation qui permettra de créer des ressorts virtuels.

En revenant au laboratoire, Minsky me fit mettre en pratique ce qu'elle venait de m'expliquer. Cette fois-ci, la simulation me donna l'impression que je déplaçais un levier disposant à son extrémité d'un ressort auquel était attaché une masse. J'avais vraiment l'impression d'un poids virtuel en mouvement. Je découvris ensuite que je pouvais modifier la masse de ce corps ou la nature du milieu dans lequel il se déplaçait, l'air pouvant être remplacé par de l'eau ou par quelque chose d'encore plus épais. En agissant sur les « tirettes » virtuelles à l'écran, je pus tester les différents ressorts, amortisseurs et masses, et mieux comprendre comment des textures peuvent être fidèlement imitées par un mélange judicieux de ces composantes génériques. Lorsque j'augmentais la composante « amortisseur », je sentais l'extrémité de ma sonde se mouvoir dans un milieu de plus en plus visqueux. Ainsi, la différence entre de la mélasse et des glaçons, entre des briques en pente douce et des briques en pente forte réside-t-elle dans la « recette » choisie.

L'utilisation de ressorts, d'amortisseurs et de masses virtuels — une méthode qu'a également développée en parallèle une équipe de Grenoble — n'est peut-être qu'une fausse piste dans la poursuite d'une simulation haptique réaliste ; ou, au contraire, c'est peut-être la Pierre de Rosette des illusions haptiques. En-dehors de cette relation entre utilisation de forces génériques et simulation de textures, Minsky et ses collègues se sont rendu compte d'autre chose : comme des chercheurs en perception tactile l'avaient annoncé, nous reconnaissons les objets par l'intermédiaire du bout des doigts en nous livrant à une série d'actions stéréotypées. De même qu'inconsciemment, nous évaluons la distance et la profondeur d'un stimulus visuel en déplaçant la tête et les yeux pour le voir sous différents angles, nous déterminons la nature de la surface d'un objet en le frottant de la main en plusieurs allers et retours. Dans un contexte légèrement différent, la manipulation du stylo sur la surface striée de tout à l'heure obéit à la même logique. Ainsi la perception haptique, tout comme la vision, n'est-elle pas un processus purement passif mais comprend-elle une part d'exploration active.

La composante tactile de la perception haptique — c'est-à-dire la perception des surfaces au niveau du bout des doigts — est l'objet d'une autre convergence d'intérêts. Je me doutais qu'à côté des recherches en perception tactile humaine, il devait y avoir des ingénieurs en robotique qui s'intéressaient à la même chose mais du point de vue de la machine. Je pus le vérifier en rencontrant l'un d'eux, quelques mois après que Margaret Minsky m'eut amené à réfléchir à l'avenir du toucher virtuel. Je passai en effet cinq jours en compagnie de M. A. Srinivasan au cours d'un colloque scientifique tenu à Santa Barbara, en Californie, où des dizaines d'autres chercheurs venus d'horizons les plus divers découvraient que la réalité virtuelle était le carrefour de l'optique et de la robotique, des sciences cognitives et de l'ingénierie biomédicale, des programmeurs d'applications graphiques et des théoriciens de la logique de commande, des Laboratoires Bell et de Disney ou autres Lucasfilms. Srinivasan, qui travaillait au Laboratoire Neuman de Biomécanique et de Réadaptation des Handicapés du MIT, fit un discours sur les bases de la perception tactile. Je me procurai plus tard certains de ces écrits, et m'aperçus qu'un de ses rapports, « La sensation tactile chez les hommes et chez les robots », offrait une description dense, peu technique et quasi poétique du flux d'informations propre au toucher de surfaces :

En d'autres termes, la fréquence des impulsions envoyées par les capteurs de pression implantés sous notre peau est élevée lorsque le contact est très appuyé, et plus faible lorsqu'il est plus doux. (Il peut y avoir accoutumance, le capteur cessant d'émettre lorsque le stimulus reste constant pendant un temps donné — c'est d'ailleurs pour cela, par exemple, qu'on ne sent pas ses chaussures, sauf si elles sont trop serrées ou si l'on porte son attention sur elles.) Des processeurs de niveau plus élevé dans la hiérarchie s'occupent de comparer les différences de stimulation entre zones adjacentes de la peau et en déduisent des informations de mouvement des stimuli. Une des seules informations strictement techniques livrées par Srinivasan dans son texte est d'importance pour la recherche haptique. Un chercheur en robotique que je connais et dont je respecte l'opinion m'a fait remarquer, lorsque je lui ai parlé de RV tactile, qu'un système de reproduction de sensations tactiles devrait pouvoir travailler à la fréquence de 500 Hz pour pouvoir atteindre l'acuité tactile humaine. Les ingénieurs en robotique seraient ravis de disposer de mains mécaniques capables de reconnaître les surfaces de différents matériaux. Mais même si l'on était capable d'implanter des centaines de microvibreurs par centimètre de peau, chacun d'eux vibrant à des fréquences allant jusqu'à 500 Hz, la quantité d'informations que cela représenterait ajouterait une charge énorme à l'ordinateur faisant office de moteur de réalité. Lorsque je mentionnai à mon ami les possibilités les plus fines de la sensibilité tactile de l'homme — celle, par exemple, de distinguer un type de papier en en tenant un morceau entre le pouce et l'index —, il ajouta que nous pouvions détecter des aspérités étonnamment petites sur des surfaces lisses. En fait, lorsque nous touchons une surface que nous trouvons au premier abord « lisse », c'est comme si un filtre biologique entrait en fonction pour ne mettre en œuvre que les récepteurs les plus sensibles.

Au fur et à mesure que nous assimilons le monde qui nous entoure, nous nous créons une sorte de base de données interne qui sert de grille de lecture des trains d'impulsions que nous recevons de nos capteurs périphériques. Les codes envoyés par nos mécanorécepteurs, lorsque nous touchons par exemple une vitre savonnée ou un morceau d'écorce, sont reconnus parce que nous savons en retrouver la trace dans cette base de données. Comme me l'a expliqué Srinivasan, la manière dont nos mécanorécepteurs et notre système nerveux collaborent pour détecter le caractère « glissant » d'une surface offre des indices sur la façon dont d'autres « microcaractéristiques » de certaines surfaces sont associées à des codes neuronaux que nous avons stockés. Une fois de plus, on constate qu'en réfléchissant aux mécanismes de mise en œuvre de la RV, on est forcé de réfléchir sur la manière dont nous fonctionnons nous-mêmes : un système évolué de comparaison entre connaissances du monde et échantillons de la réalité du moment me permet de fermer les yeux, de tendre la main et de savoir si la carrosserie d'une voiture est propre ou poussiéreuse. Une partie de cet acte perceptif relève du moment présent, il s'agit de l'analyse précise de ce que les récepteurs de mes doigts communiquent. L'autre partie est abstraite, c'est la mémoire d'expériences antérieures des textures de ce monde.

La perception haptique — ce qui nous fait toucher du doigt la réalité, c'est le cas de le dire — est un sujet quasi ésotérique de recherche et de métaphysique qui peut en venir à monopoliser l'intérêt pour peu que l'on s'écarte légèrement de la voie centrale de la RV. Il est clair que les neuroscientifiques tout comme les spécialistes en robotique ou les chercheurs en RV travaillent tous sur les questions touchant la manière dont nous transmettons et traitons les informations tactiles. Avant que les appareillages de Minsky et de ses collègues aboutissent à des dispositifs de simulation haptique crédible, ou qu'un autre groupe de chercheurs développe une approche entièrement différente du problème, tout un ensemble de connaissances sur la manière dont nous fonctionnons doit être acquis et validé par d'innombrables expériences. Minsky me recommanda d'aller voir K. O. Johnson, du département de neuroscience de la division d'ingénierie biomédicale de la John Hopkins University. Celui-ci me rappela tout d'abord qu'il y avait loin de la compréhension détaillée des mécanismes sensitifs de l'homme à une connaissance suffisante pour tromper ces mécanismes. De même que les « images » constituent un codage visuel destiné à créer une illusion de profondeur et d'éclairage, des outils comme ce manche à retour d'effort permettent de créer ce que Johnson appelle des « images tactiles ». Les illusions tactiles ne peuvent être obtenues qu'en sachant comment tromper nos mécanorécepteurs.

« Pour recréer une réalité virtuelle tactile de haute fidélité », me dit-il au cours d'une conversation téléphonique, « le tout n'est pas tellement de comprendre comment fonctionne le cerveau mais plutôt de savoir comment fabriquer une représentation crédible. Si tout était techniquement possible, et s'il existait une façon de faire vibrer et de marquer la peau de manière très précise, nos représentations tactiles pourraient être de grande qualité. » Comme me l'avait glissé mon ami roboticien, c'est le cahier des charges qui rend la tâche de l'ingénieur plus cruciale que celle du scientifique. Les récepteurs du bout des doigts, me rappela Johnson, peuvent détecter des bosses d'un millimètre et des vibrations allant jusqu'à 500 Hz. La composante dynamique des micro-empreintes faites sur la peau — c'est-à-dire la façon dont nous ressentons un objet lorsque nous faisons aller et venir nos doigts sur sa surface — nous fournit des informations plus détaillées sur la surface de l'objet. « De la même manière qu'un tournevis vous donne une idée de ce qui se trouve à l'autre bout », comme dit Johnson.

« Le problème, c'est qu'il n'existe actuellement aucun périphérique de sortie qui réponde de près ou de loin à ce cahier des charges » expliqua-t-il. Les périphériques d'entrée posent moins de problèmes : même les gants rudimentaires d'aujourd'hui fournissent des informations assez précises sur la position et le mouvement des doigts. Mais créer un gant, une poignée ou un manche qui renverrait à l'opérateur des données haptiques dynamiques, voilà une tâche, de l'avis de Johnson, équivalente à l'invention du téléphone. Et comme Alexander Graham Bell avait eu besoin de comprendre au moins sommairement le fonctionnement de l'ouïe humaine pour réaliser un appareil qui transmettrait le codage spatio-temporel d'ondes sonores, nos futurs ingénieurs devront réaliser un codeur-décodeur perceptif pour le sens tactile. Ce mécanisme pourrait être intégré à un gant. On pourrait faire appel à des microjets d'air, à de petits ballons gonflables, ou à des batteries de cellules piézoélectriques miniatures et flexibles. En Californie, j'ai rencontré quelqu'un qui est en train de réaliser des batteries de vibreurs ayant chacun la taille de la bille d'un stylo à bille, dans un alliage spécial qui les fait changer de forme lorsqu'ils sont stimulés électriquement. Peut-être une de ces voies aboutira-t-elle… Ou peut-être faudra-t-il attendre un matériau ou une technologie qui n'existent pas encore…

La perception haptique présente le plus grand intérêt, mais il est encore trop tôt pour estimer si nous pourrons bientôt exploiter pleinement ce potentiel. Nous serons peut-être entre-temps limités à une sensation tactile relayée par un manche ou tout autre dispositif médiateur. Il se peut encore que la représentation tactile soit étendue à notre corps entier. L'une des implications les plus folles de la simulation tactile intégrale, le télésexe, est abordée dans un chapitre ultérieur. Il n'en demeure pas moins que l'ajout d'une représentation haptique en temps réel, même limitée, et quel que soit son mode de mise en œuvre (manche, gant, etc.), à un affichage tridimensionnel des images augmentera la sensation de réalité, et ce d'autant plus qu'une représentation auditive y sera couplée. En voyant ces molécules s'emboîter, en ressentant leurs forces atomiques dans mes doigts, en entendant le bruit de leurs collisions, j'avais eu l'impression de quelque chose de bien réel. Et de ce quelque chose, j'en étais sûr ; c'est plutôt ma conviction de ce qu'était le « réel » qui était en train de changer.

Et de fait, des suites de petits coups ou d'autres stimulations mécaniques de la surface de la peau peuvent, par convention, prendre toute signification qu'on voudra leur prêter, la seule limite étant l'imagination de celui qui proposera tel ou tel type de codage. C'est un ensemble quasi illimité de « motifs » cutanés, composé pratiquement d'une infinité de variations sur le lieu, l'intensité et le temps, qui s'offre à la multitude de symboles sensoriels à coder. Les Esquimaux Copper souhaitent la bienvenue aux étrangers en leur donnant un coup de poing à l'épaule. En Polynésie, certaines peuplades se frottent le dos de la main pour se saluer, tandis que les habitants de l'île Andaman, dans le Golfe du Bengale, soufflent sur ces mêmes mains pour signifier « le doux chagrin qu'il y a à se séparer ». Des variations sur la taille, la forme, le lieu, l'intensité ou la durée de la stimulation cutanée peuvent être utilisées pour exprimer tout cela, pour informer du temps qu'il fera demain, pour rapporter l'activité boursière du jour ou pour communiquer des informations essentielles à la prospection d'uranium.

Frank Geldard
« Adventures in Tactile Literacy », 1960

Il y a un an, j'avais plus ou moins le sentiment qu'il faudrait vingt ou trente ans pour créer des cyberespaces dans lesquels on pourrait avoir la sensation de soulever une grosse pierre ou de presser un citron. Ce que j'ai vu et dont j'ai fait l'expérience il y a peu m'a fait changer d'avis. Quand j'ai essayé le premier prototype d'un gant tactile pneumatique dans le garage de Jim Hennequin à Cranford, à une heure de route au sud-ouest de Londres, j'ai commencé à penser que la représentation tactile haute fidélité n'était peut-être pas pour si loin dans le futur.

Ayant survécu aux exosquelettes dans lesquels j'avais emprisonné mes mains à Tsukuba, au manche tactile manipulé au Media Lab et au bras à retour d'effort de Chapel Hill, l'élégance de l'invention d'Hennequin me parut d'emblée évidente. Il suffisait d'enfiler un gant. En sandwich entre deux couches du matériau dont était fait le gant se trouvaient de petits ballons stratégiquement placés qui étaient gonflés et dégonflés à un rythme rapide. L'inventeur indique que la taille, l'emplacement et la quantité de pression de chaque petit ballon sont des variables critiques pour créer l'illusion tactile. En gonflant la bonne série de ballons à la bonne pression, Hennequin espère pouvoir reproduire la sensation que l'on a lorsqu'on attrape un objet, et permettre la reconnaissance de forme de ces objets virtuels.

Notez bien qu'il ne s'agit pas là du même type de gant informatisé que celui dont nous avons parlé jusqu'ici, même si l'objectif final est bien de combiner les propriétés du gant tactile et celles du gant de détection de gestes. Le DataGlove et le PowerGlove sont des périphériques d'entrée (ou de saisie) d'ordinateur, qui informent celui-ci de ce que fait l'opérateur humain. Le gant sur lequel travaille Hennequin et d'autres équipes dans le monde est un périphérique de sortie qui permet de faire passer des informations de l'ordinateur vers l'opérateur humain par le sens du toucher.

« Je veux enregistrer dans l'ordinateur la sensation de tenir une tasse de thé, et je veux qu'on puisse reconnaître qu'il s'agit d'une tasse lorsqu'on met le gant et que je fait repasser cet enregistrement. » expliqua Hennequin. C'est lors de notre seconde rencontre, l'après-midi même où l'ensemble de leur système était testé pour la première fois, que j'essayai le gant. Je suppose qu'ils avaient fini par faire fonctionner l'ensemble à une heure avancée de la nuit précédente et que j'étais le premier à en faire l'essai après que l'inventeur lui-même se fut assuré qu'il n'allait pas se couvrir de ridicule lors de sa première démonstration. J'étais là en contact direct avec une technologie « brute de fonderie ». Hennequin gonfla et dégonfla certaines parties du gant, ce qui me faisait éprouver différents types de pression, dont je me disais qu'ils pouvaient très bien, au dosage adéquat, donner l'impression d'arêtes ou de surfaces. Peut-être les premiers affichages graphiques sur ordinateur ont-ils paru à la fois aussi primitifs et aussi prometteurs que c'était le cas ici. Certains stimuli me donnaient l'impression que quelque chose de mou appuyait sur le bout de mes doigts. D'autres véhiculaient une impression de dureté contre la paume de ma main. Certains étaient agréables, et me donnaient l'impression que j'étais en train de me gratter ou de recevoir un massage.

Nul ne peut prédire si les promesses de cette recherche-là seront à l'épreuve de la réalité. On verra si Hennequin et son équipe réussiront à exploiter leur gant Air Muscle pour reproduire effectivement la sensation tactile d'une réalité physique. De même que le « photoréalisme » est le but poursuivi par une branche de l'informatique graphique, le « réalisme tactile » peut devenir un objectif majeur des concepteurs de vêtements cybernétiques. Hennequin et son groupe venaient d'achever leur premier prototype lorsque je le rencontrai, au cours de l'été 1990, et des mois de mise au point les attendaient encore. Mais à en juger par les autres réalisations abouties que j'ai pu voir dans son atelier, je dirais que Hennequin a de bonnes chances d'atteindre son objectif.

Jusqu'à ce que je lui montre des photocopies de comptes-rendus de recherche émanant de laboratoires en Californie ou au Japon, Hennequin n'était que moyennement conscient que son invention, si elle fonctionne aussi bien qu'il l'espère, pourrait être la solution à des obstacles techniques que les chercheurs en RV du monde entier ont cherché à surmonter depuis des années et la source potentielle de toute une catégorie de problèmes nouveaux d'ordre social. Cette même technologie, qui pourrait contribuer à libérer les tétraplégiques pourrait également être exploitée de manière décadente pour le télésexe, ou carrément malfaisante dans le cadre d'applications de « lavage de cerveau ». Comme le dit l'un des personnages de William Gibson dans Neuromancien, « La rue invente ses propres usages de chaque technologie nouvelle. » Les sensations tactiles simulées pourraient avoir des conséquentes radicales sur la perception que nous avons de notre corps, sur nos valeurs morales, sur notre culture. Des questions scientifiques importantes attendent des réponses qui doivent tirées de recherches prudentes et longues, avant que nous ne sachions exactement qu'attendre des illusions tactiles. De toute façon, intégrer des possibilités de perception tactile à un appareillage poids plume n'est déjà pas en soi un problème d'ingénierie anodin.

Hennequin est peut-être en train de créer une pièce importante de ce puzzle. Ses engins à air comprimé peuvent très bien faire la différence ou ouvrir de nouveaux horizons. Dans le domaine des périphériques, la RV permet à une espèce en voie de disparition, celle des inventeurs en chambre, de peser à nouveau sur le futur de cette technologie. Les efforts d'Hennequin pour réaliser son gant à perception tactile avant même qu'existe une théorie scientifique avancée sur ce type de perception montre bien qu'il n'est pas impossible de bricoler ce genre de mécanisme avant que des spécialistes, tels que les neurologues axés sur ce genre de problèmes, soient à même d'en comprendre le fonctionnement.

Au moment de repartir pour Londres, j'avais depuis longtemps pris l'habitude d'emporter avec moi un dossier rempli de photocopies de papiers divers. Je commençai à me sentir abeille butineuse de l'âge de l'information, portant des pollens sélectionnés de connaissance dans ma sacoche au cours de mes pèlerinages d'un laboratoire de RV à un autre. Les Japonais s'étaient montrés intéressés par ce que je savais sur la recherche américaine, et les Anglais également. Les chercheurs hollandais voulaient en savoir plus sur les Japonais, et une partie de ce sur quoi les Britanniques travaillaient convergeait avec les efforts que faisaient depuis douze ans des gens que j'avais rencontrés à Grenoble. Rien de tout cela n'était confidentiel. Mais ces gens-là ne se connaissaient pas encore. J'emportais papiers et brochures de chaque laboratoire que je visitais, et je laissais ceux du laboratoire suivant en faire des photocopies. Et à chaque fois, je leur disait comment avoir accès au forum électronique « Sci.virtual-worlds » sur Usenet. Je crois qu'il s'est agi là de la relation la plus originale entre un auteur non spécialiste et le domaine scientifique sur lequel il enquêtait.

Tout comme les théoriciens de la logique de commande des machines, les programmeurs d'ordinateurs graphiques et les cinéastes 3D mirent des années à comprendre qu'ils travaillaient pour le même objectif final, nombreux sont les spécialistes de la RV dans le monde qui n'étaient pas encore au courant en 1990 de leurs travaux respectifs. Ils avaient commencé des années auparavant à construire des marionnettes, des prothèses ou des instruments de musique, à concevoir des robots ou des œuvres d'art, à faire progresser le champ des télécommunications ou à comprendre la nature des perceptions humaines ; et ils commençaient seulement à se rendre compte que d'autres, à des milliers de kilomètres et dans une discipline qui n'était pas jusque là liée à la leur, pouvaient avoir produit précisément l'outil qu'il leur fallait dans leur propre quête. Dans le cas d'Hennequin, il avait mis au point sa technologie pour d'autres raisons avant de se rendre compte des possibilités qu'elle présentait pour la RV.

Lorsqu'il m'arrive maintenant de réfléchir à la difficulté de mise au point de ces techniques de représentation tactile, je me demande combien il peut bien y avoir de Jim Hennequin lâchés dans la nature, occupés à créer les éléments des systèmes de RV de demain.