Lorsque je repassai par le laboratoire d'imagerie de synthèse, après mon essai du visiocasque, je vis une image fugitive sur un écran, à l'autre bout de la pièce, qui me fit penser à un extrait de film d'horreur : on aurait dit que l'on avait dépecé le quart environ d'un crâne humain. Je m'approchai pour mieux voir. Marc Levoy était en train de faire une démonstration de la technique d'imagerie médicale appelée « rendu volumétrique ». En examinant l'image en couleur qui était affichée, je distinguai les différentes couches de tissus durs et mous qui constituaient le crâne, rendues à différents degrés de transparence. Levoy tapait des commandes au clavier et selon la commande, des couches de cartilage ou des parois osseuses apparaissaient, disparaissaient, devenaient opaques ou transparentes. L'objectif, ici, ne consistait pas tant à présenter en trois dimensions, mais à résoudre le problème de « visualisation » posé par la superposition de différentes couches : quelles couleurs, quelles ombres, quels niveaux de transparence sont à utiliser pour mieux rendre visibles les structures anatomiques ?

Un grand nombre de sous-disciplines, de l'obstétrique à la chirurgie orthopédique, ont bénéficié de l'extraordinaire progrès des techniques d'imagerie médicale permis par l'ordinateur et sa capacité à traiter les images numériquement. Les rayons X permettent aux médecins de voir à travers des tissus, mais ils se limitent à donner accès à une seule « couche » anatomique du patient. Les scanners, eux, font appel à l'ordinateur pour assembler un « éventail » d'images de couches successives ; C'est ensuite dans le cerveau des praticiens, à partir de cet éventail, qu'est reconstituée en relief l'anatomie du patient. Les ultrasons peuvent être utilisés en temps réel, mais il s'agit également d'une reproduction bidimensionnelle d'une réalité en trois dimensions. L'imagerie médicale est donc une application particulière de la visualisation scientifique, et semble pouvoir bénéficier des mêmes progrès en matière d'imagerie de synthèse que la visualisation en sciences physiques. Le travail de Levoy s'inscrivait dans une collaboration de plusieurs spécialistes venus d'horizons différents pour élaborer des outils d'imagerie médicale en RV. Je traversai à nouveau le hall d'entrée — je ne pus m'empêcher de remarquer combien l'éclairage était réaliste dans le monde réel ! — et je passai le reste de mon premier après-midi à Chapel Hill à discuter avec Stephen Pizer, responsable d'une équipe comprenant des informaticiens, des radiologues, des oncologistes des radiations, des chirurgiens et des psychologues spécialistes de la perception.

« Nous cherchons à savoir comment produire de meilleures images médicales », me confia Pizer, dans son bureau. « Et je ne parle pas seulement de présentation d'images médicales en relief, mais également de leur exploitation pour la planification de séances de rayons, pour la préparation d'opérations chirurgicales et pour le diagnostic. »

On saisit assez facilement l'intérêt pour un chirurgien de visualiser en relief tel organe de son patient avant de l'opérer. En revanche, je ne voyais pas bien l'application de cette technique aux séances d'irradiation et l'interrogeai à ce sujet.

« L'intérêt de cette application consiste à produire un programme d'irradiation qui concentre les radiations sur la tumeur et réduise l'impact de celles-ci sur les autres régions », expliqua Pizer. Les rayons traversent les tissus sains du patient avant d'arriver à leur cible, mais si l'on concentre des rayons venant de directions différentes sur la tumeur, celle-ci est naturellement beaucoup plus exposée que les tissus environnants. Chaque patient, chaque tumeur a ses spécificités, ce qui rend chaque programme d'irradiation particulier. Comme l'amarrage moléculaire et les visites architecturales simulées, la planification d'irradiation pose essentiellement un problème de type tridimensionnel.

« Un des objectifs poursuivis », continua Pizer, « est la recherche de toutes les manières possibles d'irradier une tumeur sans passer à travers les tissus les plus sensibles aux radiations. Il faut donc pouvoir visualiser les rayons par rapport aux tissus sains du patient et par rapport à la tumeur, et pouvoir également bénéficier, sur cette anatomie, d'une représentation du dosage de ces rayons. »

James Chung, l'un des étudiants travaillant dans l'équipe de Pizer, me montra par la suite un système prototype de planification de traitement par rayons. Grâce à lui, la personne s'occupant de la planification des séances fait appel à un visiocasque ou à un autre type d'affichage en trois dimensions pour visualiser le chemin envisagé pour les rayons. Il peut ainsi, de la meilleure manière possible, et grâce aux techniques de rendu tridimensionnel des images avec transparence réglable, bien apprécier l'impact des rayons sur les tissus.

Pizer mit l'accent sur l'importance de la recherche d'un moyen, pour les praticiens et les gens chargés de programmer les traitements, non seulement de visualiser les tissus d'un patient, mais aussi de pouvoir les observer selon différents angles : « Le déplacement de la tête et des yeux, le parcours libre du regard représentent une dimension importante de la vision », fit-il remarquer. « Les informations de profondeur tirées du déplacement naturel ont un très grand poids, et la création d'un monde virtuel dans lequel on puisse se déplacer et changer de point de vue comme on peut le faire dans le monde réel est importante non seulement pour stimuler l'imagination et rendre le monde virtuel crédible, mais aussi pour offrir la gamme de perceptions la plus complète. Nous avons dans notre équipe un psychologue spécialisé dans les phénomènes perceptifs, qui nous aide à déterminer les aspects d'un objet qu'un expert comme un médecin ou un chirurgien doit pouvoir percevoir. Nous travaillons aussi avec des chirurgiens qui nous indiquent les informations visuelles et autres dont ils ont besoin pour effectuer des incisions, fraiser, introduire des sondes de biopsie, etc. »

Dans un avenir plus ou moins proche, il sera possible de simuler et de répéter à l'avance des opérations difficiles, en utilisant les représentations externes et internes réelles de chaque patient, grâce à des systèmes qui ne simuleront pas seulement l'emplacement de chaque organe, mais qui reproduiront également la résistance au scalpel de chaque tissu. De telles simulations, qui en sont déjà au stade de la recherche initiale à l'UNC mais aussi à Stanford, demanderont des années, voire des décennies, pour être mises au point. Si les travaux sur les simulations chirurgicales n'en sont qu'à leur début, Pizer fait remarquer que « les membres de l'équipe qui travaille sur la planification de traitement aux rayons se servent de leur système pour traiter réellement des patients. » Il est encore trop tôt pour juger du résultat définitif, mais les premières remontées des gens qui s'occupent de ce type de planification sont enthousiastes.

Les systèmes d'imagerie médicale se composent de deux sous-systèmes. Le « transducteur » capte des informations portant sur des structures normalement cachées sous la peau. Les rayons X sont des rayons à haute énergie qui traversent le corps et impressionnent une plaque photographique située de l'autre côté. Les scanners à ultrasons font appel à des ondes sonores à haute fréquence pour mettre en œuvre une sorte de « sonar » interne, ces ondes inaudibles étant renvoyées dans de plus ou moins grandes proportions par les tissus rencontrés à l'intérieur du corps, ce qui fournit des données qui sont ensuite converties en images vidéo. Comme les rayons X ne sont pas bons pour la santé des fœtus, ce sont les ultrasons — l'échographie — que l'on utilise normalement en obstétrique. Bien que les images fournies soient souvent floues, il est assez excitant pour les parents en puissance (et leurs docteurs) de voir le fœtus bouger grâce à cette technique. Si les transducteurs à ultrasons pouvaient renvoyer des informations de structure en trois dimensions bien focalisées, la RV pourrait peut-être améliorer l'autre sous-système d'imagerie médicale : celui chargé de présenter une représentation visuelle des données transmises par le premier.

A propos de développements futurs, Pizer indiqua : « un de nos collègues travaille actuellement sur un capteur à ultrasons qui pourra fournir des données tridimensionnelles au rythme de quelques dizaines d'images par seconde. On peut comparer l'image ultrasonique d'un cœur humain en train de battre à une sorte de monde virtuel. De notre point de vue, le défi consiste à détecter des données tridimensionnelles et à les convertir en une image visible suffisamment rapidement, ce qui n'est pas évident lorsque le transducteur renvoie les données au rythme d'environ deux milliards d'octets par seconde. Le problème de la représentation des divers tissus qui bougent à l'intérieur du cœur est ardu. Le problème de la charge de traitement induite par cet énorme volume de données arrivant à haut débit est ardu. Le temps de réponse et les irrégularités perceptuelles des visiocasques sont aussi des problèmes ardus. Aucun de ces problèmes n'est en principe insoluble, mais leur existence signifie que nous n'aurons pas nos lunettes à vision X dans l'immédiat », prévint Pizer.

« Les lunettes à vision X participent de la vision d'Henry Fuchs sur l'avenir de cette technologie plutôt que de la mienne, même si je trouve la sienne séduisante », dit Pizer. « A partir du moment où on présente des mondes virtuels en relief à des chirurgiens ou à des médecins, pourquoi ne pas les mettre à leur place naturelle, c'est-à-dire sur le patient, superposés à son corps au niveau des organes qu'ils représentent ? On peut ainsi imaginer un contexte dans lequel le chirurgien verrait ses instruments, les tissus du patient qu'il opère, et en même temps une image supplémentaire qui lui permettrait de voir « derrière » le sang et les surfaces opaques. » Combien de temps faudra-t-il pour que cette vision passe de l'état de projet pilote à celui de prototype, pour enfin aboutir à une instrumentation médicale de série ? « Je serais satisfait si nous arrivions à un stade opérationnel avant dix ans, et je vois mal comment nous pourrions y arriver avant cinq ans », répondit-il.

Le lendemain matin, dans le bâtiment restauré datant d'avant l'indépendance et qui abrite aujourd'hui l'une des cafétérias de l'UNC, je rencontrai Henry Fuchs, un garçon rouquin, portant moustache et plein d'énergie, qui n'aime ni perdre son temps, ni mâcher ses mots. Il me dit d'emblée qu'il ne pensait pas beaucoup de bien de cet intérêt des médias grand public pour la RV. Non pas que les promesses attachées à cette technologie ne fussent en effet spectaculaires, comme le sont les prévisions de lunettes à vision X ou d'aides à la visualisation scientifiques. Mais de nombreux problèmes restent à résoudre avant que ces éventualités puissent se matérialiser. Les spéculations excitées des grands médias, semblait estimer Fuchs, laissaient penser que des réalisations pratiques étaient imminentes, alors que cette technologie mettrait des années, voire même des décennies à mûrir.

Et Fuchs sait de quoi il parle. C'est depuis le début des années 70 qu'il travaille à la réalisation de systèmes de RV opérationnels et qu'il a dû affronter tous les problèmes qui y sont liés. Sa quête des mondes virtuels débuta au sein du laboratoire où le pionnier de la RV Ivan Sutherland et d'autres avaient produit le premier visiocasque fonctionnel, peu avant son arrivée.

« Le problème du temps de réponse, par exemple, expliqua Fuchs, est décrit dans les magazines grand public comme lié aux systèmes actuels, et comme devant probablement être résolu très prochainement par l'utilisation de microprocesseurs plus puissants. Les choses ne sont pas aussi simples. »

Fuchs faisait allusion au léger retard avec lequel les mondes virtuels réagissent lorsqu'on tourne la tête ou lorsqu'on avance dans un paysage artificiel. Ce temps de réponse perceptible est la somme du temps de réaction de l'appareillage de détection des mouvements, du temps de traitement des signaux provenant du DataGlove de VPL et du mécanisme de suivi de la tête, et du temps de traitement nécessaire pour faire évoluer le monde virtuel en conséquence. Si en plus on souhaite que la représentation de ce monde soit plus réaliste et plus détaillée, on ajoute à ce temps de réponse ; et si l'on désire que ce monde, ou les objets qu'il contient, soit animé, on augmente encore ce temps de réponse. A l'UNC, la stratégie adoptée a été de renoncer temporairement à la finesse des détails au profit du mouvement, de rechercher le naturel dans les déplacements lorsque l'opérateur change de point de vue, et d'augmenter les détails lorsque le point de vue de l'opérateur se stabilise.

« Il nous semblait évident, à moi et à tous ceux qui travaillaient avec le visiocasque de Sutherland, que le suivi des mouvements posait le problème le plus aigu. Passez plusieurs années à essayer de réduire ce temps de réponse, et vous comprendrez combien est importante la différence entre 100 et 200 millisecondes », ajouta-t-il. Dans le cadre d'un projet particulier à l'UNC, on développe en ce moment un nouveau type de mécanisme de suivi de position, qui réduira encore ce retard : un banc de lumières situé au plafond est suivi à l'aide de capteurs opto-électriques. Et un autre des projets dont est responsable Fuchs, du nom de Pixel-Planes (« Plans de pixels »), s'attache à résoudre le problème au niveau du calcul. Ce qu'il essaya de faire valoir, à plusieurs reprises dans son discours, c'est que si en effet la RV représentait une percée par rapport à l'époque de l'écran, le développement de systèmes 3D (tridimensionnels) réellement opérationnels se ferait de manière progressive et non soudaine. Lorsqu'on a vu passer quatre générations de microprocesseurs en dix ans, dans l'attente du « moteur » approprié, comme ce fut le cas d'Henry Fuchs, je suppose en effet qu'on a tendance à se défier de ceux qui se présentent soudainement dans la presse grand public comme les « promoteurs » de la RV et qui annoncent celle-ci comme « la dernière technologie issue de la Silicon Valley » et destinée à changer le monde avant la fin de l'année.

Tout en maintenant ces remarques, Fuchs convint que l'idée de « lunettes à vision X » n'était pas seulement réalisable mais représentait un objectif pour lequel il valait la peine de travailler : « Je pense que dans vingt ou trente ans, peut-être cinquante, la technique majeure d'imagerie médicale pourrait bien être constituée d'un visiocasque doté d'une résolution suffisante, qui permettrait de voir les données superposées au patient : on verrait par exemple les côtes, la position d'un fœtus et l'on pourrait déplacer le transducteur comme une lampe de poche, pour visualiser d'autres organes importants, en l'occurrence le cordon ombilical par exemple », me dit-il.

Fuchs, John Poulton et d'autres ont également travaillé au niveau de la « chambre des machines » des systèmes de RV, car il s'agit d'obtenir la très grande puissance de calcul nécessaire pour mettre en œuvre toutes ces applications utiles et excitantes que nous pouvons imaginer. Quiconque traite des images de synthèse en relief doit se soucier de la puissance brute qu'il peut obtenir de l'ordinateur. Et s'il est vrai que tous ceux qui travaillent dans l'informatique ont maintenant compris que les micro-ordinateurs d'aujourd'hui seront remplacés dans quelques années par des machines dix, voire cent fois plus puissantes, il semble bien que la réalité, si tant est qu'on veuille la faire entrer dans l'ordinateur, recouvre toujours plus que ce que l'on croyait. C'est pourquoi il est nécessaire d'envisager de manière radicalement nouvelle le pilotage de la RV. Ce sur quoi Fuchs, Poulton et leurs collègues ont passé les dix dernières années, c'est la production de microprocesseurs spécialisés reliés en un réseau qui fonctionne comme un seul ordinateur. Cette « communauté » énorme de processeurs développée par l'UNC (ou, pour utiliser l'expression officielle, cette « architecture d'ordinateur à parallélisme massif ») s'appelle Pixel-planes. Lorsque j'ai effectué ma visite à l'UNC, en 1990, Pixel-planes 4 était composé de 250 000 processeurs. Ce qui signifie que chaque pixel — c'est-à-dire chaque point de l'image des mondes virtuels — possède son propre ordinateur.

Mêmes les ordinateurs les plus rapides accomplissent leurs tâches une par une. Les premiers ordinateurs pouvaient effectuer quelques centaines d'opérations à la seconde. Aujourd'hui, on mesure la vitesse de traitement en MIPS (millions d'instructions par seconde), et on évoque de nouvelles unités, comme le « gigaflops » (milliards d'opérations à virgule flottante par seconde) pour les plus rapides des ordinateurs de demain. Mais les systèmes de RV dévorent du MIPS à grosses bouchées. Et comme le savent maintenant tous ceux qui se sont aventurés dans le domaine des simulations en relief et en temps réel, la RV exige une combinaison de processeurs normaux et de processeurs spéciaux pour parvenir ne serait-ce qu'à une approximation grossière de la réalité. Une des principales voies de recherche, pour arriver à des vitesses de calcul très élevées, c'est l'architecture d'ordinateur appelée « parallélisme massif », dans laquelle plusieurs « ordinateurs » sont affectés à une même tâche qu'on s'applique, d'une manière ou d'une autre, à diviser en sous-tâches logiques. La conjugaison de la chute du prix des circuits intégrés et de leur puissance toujours accrue rend possible la combinaison de centaines, voire de milliers de microprocesseurs en un seul système. Le nom « Pixel-planes » a désigné plusieurs générations de moteurs de RV qui ont été entièrement conçus à l'UNC, du microprocesseur à l'architecture parallèle. Pixel-planes 4 m'a permis de parcourir un bâtiment virtuel dans lequel je pouvais distinguer la texture du plafond et la lumière diffuse qui émanait d'une pièce dont la porte était restée ouverte. Pixel-planes 5, qui est en phase de test final au moment où j'écris ces lignes, est prévu pour être vingt fois plus rapide que Pixel-planes 4.

J'avais rencontré Frederick Brooks dans le vestibule de l'Université, dès le jour de mon arrivée. Nous avions échangé quelques plaisanteries. Le lendemain soir, je le vis de nouveau à une soirée organisée par Warren Robinett à l'intention de toute l'équipe de RV. Nous parlâmes alors de Douglas Engelbart, que nous connaissions tous deux, un homme dont les recherches sur l'accroissement de l'intellect étaient étrangement parallèles à celles de Brooks sur « l'amplification de l'intelligence » (AI). Avant de m'entretenir plus longuement avec lui de réalité virtuelle, je passai quelques heures à relire les études scientifiques parfaitement ciselées que Brooks avait publiées pour rendre compte de ses travaux au cours des décennies passées. La prose scientifique peut être soporifique, mais Brooks a la patte d'un littéraire et sait allier logique, rhétorique et un soupçon de métaphore poétique : « Les spécialistes de l'image de synthèse sont des chorégraphes qui font danser des points colorés sur une scène de verre pour faire croire à l'œil et au cerveau qu'ils voient des icônes, des fusées, des molécules et des mondes qui n'existent pas et n'existeront jamais », écrit-il dans son livre au titre parlant « De l'illusion comme mode d'appréhension de la réalité : l'image de synthèse interactive au service de la science ». Comparant le rôle des informaticiens à celui de fabricants d'outils, il poursuivait : « A condition d'être conscients de notre vrai rôle, les critères de succès nous apparaissent plus clairement : un outilleur ne peut s'estimer satisfait que si les utilisateurs de ses outils réussissent eux-mêmes grâce à lui. Aussi étincelante soit sa lame, aussi richement ornée de pierreries soit sa poignée, aussi bien équilibrée soit-elle, une épée se juge à sa capacité à trancher. Le forgeron qui a réussi est celui dont les clients meurent de vieillesse. »

Frederick Brooks est un gentleman à la voix douce. On croirait parfois entendre le président d'un pays qui s'appellerait « Réalité Virtuelle ». Quand il est en présence de certains « allumés » modernes de la RV, comme Jaron Lanier, on peut compter sur lui pour garder les pieds sur terre et j'ai peine à l'imaginer débattre avec Timothy Leary, par exemple. Si certains pourraient être tentés de considérer la recherche en réalité virtuelle comme une discipline peu orthodoxe voire ésotérique, le C.V. de Brooks viendra à point pour dissiper cette impression. Cet homme sait ce qu'il fait, pourquoi il le fait et ce depuis longtemps. Je suivai la recommandation de Warren Robinett et demandai à Brooks de m'en dire plus sur l'« AI ». Il fut aussi éloquent, assis à son bureau de Sitterson Hall, enfoncé dans son fauteuil, les mains derrière la nuque, que m'avait semblé l'être la « voix » formelle qui transparaissait dans ses écrits scientifiques. Il sourit. Il savait qu'on m'avait poussé à lui poser cette question et ne s'en formalisa pas.

« Je pense que l'utilisation des ordinateurs est bien plus efficace aujourd'hui appliquée à l'amplification de l'intelligence qu'à la création d'intelligence artificielle (IA), et j'estime que ce sera toujours vrai à l'avenir », déclara-t-il. « Dans le secteur de l'IA, on cherche à remplacer le cerveau humain par la machine, ses programmes, ses bases de données. Dans le secteur de l'AI, en revanche, on cherche à élaborer des systèmes qui amplifient l'esprit humain en dotant ce dernier d'auxiliaires informatiques pouvant remplir des fonctions pour lesquelles le cerveau n'est pas doué. »

Brooks distingue trois domaines dans lesquels le cerveau humain est plus puissant que tout algorithme informatique connu. « Le premier d'entre eux est celui de la reconnaissance de formes, visuelles ou auditives », dit-il. « Les informaticiens ne sont même pas capables d'approcher la capacité à reconnaître les formes qu'un nouveau-né d'une semaine met en pratique pour reconnaître le visage de sa mère d'un angle et sous un éclairage nouveaux pour lui. » Brooks estime qu'il est possible d'amplifier cette capacité en faisant appel à l'ordinateur pour montrer des formes à l'homme sous des aspects qu'il n'est pas normalement capable de percevoir, et en laissant la partie « homme » du système décider de ceux qui ont un sens.

Le deuxième domaine majeur de supériorité de l'homme sur la machine est celui des évaluations, indique Brooks : « A chaque fois que l'on va faire ses courses au supermarché, on se livre à toutes sortes d'évaluations que les algorithmes informatiques d'aujourd'hui ne peuvent qu'approcher grossièrement. » Le troisième domaine où le cerveau humain est supérieur est « ce sens de l'association contextuelle qui nous permet de nous rappeler, au moment approprié, de quelque chose que l'on a lu dans un magazine spécialisé vingt ans auparavant sur un tout autre sujet, mais qui nous apparaît brusquement comme signifiant. »

Selon Brooks, les trois domaines dans lesquels l'ordinateur est plus capable que le cerveau humain sont « les calculs, le stockage d'énormes volumes de données, et la mémorisation sans faille (sans oubli) des informations. »

Je lui demandai comment il verrait un système coopératif homme-ordinateur, et il me répondit : « Je crois que dans le système idéal destiné à résoudre un problème très compliqué, la machine se charge des calculs, de la mémorisation, et des recherches de bases de données — et quand je dis « calculs », cela peut recouvrir l'évaluation de fonctions très complexes —, tandis que l'homme s'occupe de la stratégie, de l'évaluation, de la reconnaissance de formes, de la planification et du rappel d'informations contextuelles. » Si l'on souhaite ensuite s'attaquer à la définition de l'interface homme-machine d'un tel système, on en arrive au seuil de la RV. Brooks présente cette démarche comme inéluctable, du même ordre que celle suivie en 1965 par Ivan Sutherland lorsqu'il réalisa le premier visiocasque et dressa l'inventaire des tâches que tous ceux qui lui succéderaient à vouloir placer l'utilisateur dans un monde créé par la machine devraient accomplir.

« C'est bien entendu la grande question : comment coupler l'homme à la machine pour faire un seul système ? » poursuivit Brooks. « Je me souviens d'une publicité dans un magazine, il y a de cela quelques années, qui montrait une tête en gros plan vue du dessus. La légende disait « Le plus compliqué, dans la communication, ce sont les dix derniers centimètres. » C'est un bon résumé de notre problème : comment faire passer les informations de la machine au cerveau et vice versa ? Ce qui conduit inévitablement aux images de synthèse, car l'œil est un canal de perception à très large « bande passante » — pour user d'une métaphore électronique — et qu'il est déjà conçu pour absorber toutes sortes d'informations comme pour la reconnaissance de formes en temps réel. D'emblée, ceux qui ont voulu élaborer des systèmes d'amplification de l'intelligence se sont appuyés sur l'informatique graphique comme interface entre la machine et le cerveau. (On appelle « informatique graphique » l'informatique qui présente à l'écran des images, des « icônes », et qui s'oppose à l'informatique classique ne présentant que des lignes de texte.)

« Dès 1965, Ivan Sutherland, dans son célèbre discours du congrès de l'IFIP [Fédération Internationale de l'Informatique], a établi un programme précis de développement de l'informatique graphique, défini la notion de monde virtuel et dit que le but poursuivi n'était pas seulement d'entrer dans ce monde par le biais de la vision, mais également par ceux de l'ouïe et du toucher. Nous voulons exploiter tous les canaux de communication que le cerveau sait déjà interpréter. Sutherland a dit aussi que l'on créait d'abord le modèle mathématique du monde virtuel sur l'ordinateur et qu'il s'agissait ensuite de fournir autant que possible l'aspect visuel, auditif, tactile d'un monde réel au cerveau humain auquel il était couplé.

« Dans l'autre sens, il faut rechercher le même résultat : exploiter les modes de manipulation naturels des objets par l'homme, qui consistent à pousser, à tirer, à utiliser la main. C'est pourquoi dès les débuts de la recherche en réalité virtuelle ici, nous avons privilégié les interfaces manuelles « riches », en faisant appel à des manches, des tirettes, des boutons, des bras articulés, des boules de commande et des appareillages grâce auxquels on peut manipuler directement des objets virtuels en trois dimensions comme on le ferait d'objets réels.

« Dans le même ordre d'idées, la reconnaissance de la parole par la machine est importante ; l'utilisation des pieds comme des mains est importante ; le déplacement de la tête et des yeux sont importants. C'est par ces biais que nous sommes « accouplés » au monde réel, et ce sont donc les bonnes approches pour nous accoupler au monde virtuel. »

Comme quelques autres chercheurs suffisamment en avance sur leur temps pour s'attaquer au problème de l'amplification de l'intelligence avant que les machines soient très puissantes, Brooks avait commencé ses travaux avec le matériel qu'il avait pu trouver, et qui en l'espèce n'était pas trop mauvais. En 1969, IBM lui confia un ordinateur spécialisé dans l'imagerie, qui était la version commercialisée d'une machine puissante qu'IBM avait conçu pour automatiser l'atelier de conception de voitures de General Motors. A côté de ce qu'on peut trouver aujourd'hui sur le bureau d'un lycéen, ce n'était pas très évolué, mais tout de même amplement suffisant pour débuter. Par ailleurs, Brooks avait un étudiant qui semblait à même de répondre au défi lancé par Sutherland.

« J'avais en effet un étudiant en maîtrise très capable avec une expérience importante de l'informatique », indiqua Brooks. « Je suis allé trouver le doyen de l'UNC et je lui ai dit « Je suis prêt à produire un système d'amplification de l'intelligence et je dispose déjà des deux choses dont j'ai besoin, un ordinateur adéquat et un étudiant brillant. Qui, parmi vos professeurs, mérite le plus qu'on amplifie son intelligence ? » » Brooks sourit. L'histoire était savoureuse, il l'avait déjà raconté maintes fois, mais ça n'était pas grave. Il poursuivit. A certains moments, Brooks appuyait ses mots par le ton de sa voix, à d'autres, il les soulignait d'un mouvement de sourcils.

« Je m'expliquai sur ce que j'entendais par là : je cherchais un collaborateur qui serait en quête de la solution à un problème à dominante géométrique, car j'estimais que s'il s'agissait d'explorer un espace à trois dimensions, il valait mieux commencer par travailler sur un problème d'origine directement tridimensionnel plutôt que de s'atteler à représenter un problème abstrait en trois dimensions. Je pensais à un problème qui serait trop complexe pour être résolu par programme uniquement, réclamerait l'intervention de l'intelligence humaine, et à l'inverse ne saurait être résolu par l'homme seul car il réclamerait beaucoup de calculs. Je crois fermement que l'informatique ne peut progresser que si elle s'emploie à développer des prototypes d'outils répondant à des demandes réelles, qui sont à satisfaire intégralement, et non si elle s'applique à travailler uniquement sur des problèmes simples et amusants. C'est le sens de cette philosophie des « problèmes pilotes » dont je vous parlais. On fait progresser la technique au mieux lorsqu'on sélectionne avec discernement un ou des problèmes pilotes, et de bons collaborateurs. Il s'agit ensuite de faire plus que de son mieux ! Nous savions que le travail sur les mondes virtuels nécessiterait de l'animation de synthèse en trois dimensions, en temps réel, et dans un mode interactif, ce qui était difficilement faisable en 1969, et il nous semblait que ce type de problèmes pousserait mieux que tout autre l'informatique de l'époque dans ses retranchements.

« Le doyen me répondit « C'est une question qu'on ne m'a jamais posée. Donnez-moi le temps de la réflexion. » Il revint me voir le jour suivant , avec une liste étonnamment longue de candidats possibles, des astronomes qui étudiaient la structure de la galaxie, des géologues qui travaillaient sur les cavités souterraines pétrolifères, des chimistes moléculaires, des architectes qui dessinaient des pavillons à prix modérés et qui recherchaient des outils d'estimation de coût en temps réel, car à chaque fois qu'ils rajoutent une brique, l'impact financier est multiplié par 100, si tel est le nombre de maisons à construire. Des gens de la sécurité routière étaient intéressés par des simulateurs de conduite. Des géographes s'inquiétaient pour des responsables de planification urbaine qui eux-mêmes s'inquiétaient du devenir des eaux de pluie au fur et à mesure du terrassement de la ville de Greensboro. Il y a avait là un groupe de gens fort intéressant. »

Brooks et ses étudiants connaissaient bien l'un des chimistes protéinistespour avoir travaillé avec lui sur un projet de programmation scientifique. De son côté, Jan Hermans, du département de biochimie, était intéressé par une collaboration de ce genre ; c'est pourquoi Brooks et son équipe initiale choisirent pour premier problème pilote la structure moléculaire des acides nucléiques. Une simulation haptique intégrale nécessitait une approche par étapes. A la fin des années 60, le système prototype en deux dimensions de J. J. Batter, l'un des étudiants de Brooks, mettait en œuvre un petit bouton que l'on pouvait déplacer sur une surface de cinq centimètres carrés et qui offrait une résistance par l'intermédiaire de servo-moteurs, modélisant ainsi un champ de force élémentaire. En 1971, W. V. Wright, un autre étudiant de Brooks, travailla avec Hermans, le biochimiste, sur un système d'affichage et d'étude des protéines, le GRIP-71.

« Maintenant, il faut dire que nous ne sommes pas « mariés » à ce problème de structure moléculaire ; ce qui nous intéresse, ce sont les systèmes mixtes homme-machine de résolution de problèmes », prévint Brooks à ce moment de son histoire. « C'est pourquoi tous les cinq ans environ, nous nous posons la question suivante : « Avons-nous épuisé l'intérêt de ce problème pilote et devrions-nous plutôt en trouver un autre ? » Et la réponse est toujours la même : « Non, celui-ci a toujours beaucoup de potentiel. » C'est pourquoi, vingt ans après, nous continuons à développer des outils d'aide aux biochimistes pour leur travail sur les structures des protéines et des acides nucléiques. Et comme prévu, cette tâche nous a largement permis de développer notre informatique. »

Le choix de l'amarrage moléculaire comme problème pilote opéra en convergence avec une autre technologie de plus en plus employée : l'utilisation de la modélisation par ordinateur en recherche en chimie structurale, plus particulièrement pour l'étude des structures géométriques complexes des molécules biologiques les plus importantes. La première application d'informatique graphique en deux dimensions (en 2D) pour l'aide à l'amarrage moléculaire fut réalisée et présentée en 1966 par C. Levinthal au MIT. Par ailleurs, une douzaine d'équipes dans le monde travaillent aujourd'hui à marier images de synthèse et amarrage moléculaire. Mais une certaine foi dans la vision de Sutherland a amené l'équipe de l'UNC un peu plus loin, à l'ARM et au concept de visualisation haptique.

« L'interaction par la force physique était une des idées avancées par Ivan Sutherland dans son discours de 1965 et il m'a toujours semblé qu'elle était trop bonne pour être délaissée », raconte Brooks. « Si le fait de regarder des objets imaginaires se déplacer et se modifier suite à nos manipulations les dote d'une manière d'existence réelle, et si ce processus permet de mieux comprendre et de mieux réaliser de tels objets imaginaires, ne pouvons-nous créer des outils encore plus efficaces en sollicitant d'autres sens humains ? » écrivait Brooks en 1977.

Brooks et ses étudiants commencèrent à combiner un mécanisme à force réactive et des animations de synthèse interactives en 1972. Ayant décidé de s'inspirer des expériences de Batter et Wright sur un système à six dimensions (trois de force et trois de couple) [NDT: je ne sais pas de quoi il s'agit], l'équipe de Brooks rencontra « de manière providentielle » Raymond Goertz, qui avait conçu le bras de manipulation télécommandé au sein des Argonne National Laboratories. Il s'agissait d'un système d'asservissement qui permettait à quelqu'un placé derrière un blindage en plomb de manipuler des substances radioactives grâce à des machines télécommandées qui reproduisaient ses mouvements des mains. Goertz fit en sorte que l'UNC puisse obtenir deux télémanipulateurs Argonne (ARM) inutilisés. L'équipe de l'UNC remplaça le mécanisme d'asservissement du bras par son ordinateur et le modèle de structures protéiniques qu'il contenait et convertit la poignée d'origine de l'ARM en transducteur haptique. Le seul problème, c'était la puissance de calcul : ils venaient de définir une tâche qui n'était tout simplement pas à la portée des ordinateurs de l'époque.

« Le monde physique le plus évolué que notre système pouvait gérer était composé de sept cubes de jeux pour enfants. C'est là tout ce que nous pouvions faire en temps réel. Un autre étudiant, P. J. Kilpatrick, fit une thèse sur le sujet, et dans le même temps, nous nous sommes rendus compte que nous tenions à travailler sur l'amarrage moléculaire mais que la puissance de calcul devait être multipliée par 100 pour pouvoir poursuivre dans cette voie ; alors, nous avons mis le projet au placard. Et puis en 1986, nous l'en avons ressorti en nous disant, ça y est, la puissance des ordinateurs a été multipliée par 100, allons-y ! Aujourd'hui, Ming en a fait son sujet de recherche et les choses avancent bien. Voilà une belle illustration, en tout cas, de l'efficacité d'un problème pilote. »

Le travail de Ming Ouh-Young, comme j'avais pu le constater, était centré sur la mesure de l'utilité des aides à l'amarrage en RV pour la réalisation d'amarrages réels. Ses résultats, publiés un an après ma visite, confirmèrent ce que les biochimistes qui avaient travaillé avec les différentes équipes de Brooks depuis deux décennies avaient proclamé avec enthousiasme : selon des mesures objectives, la RV haptique est à peu près deux fois plus efficace que la meilleure méthode « traditionnelle ». Mais Brooks prévient que même après amélioration du système, il ne faut pas en attendre non plus une efficacité décuplée ; il rappelle également à ses confrères que « l'objet de l'informatique, ce n'est pas le calcul, mais l'aide à la réflexion. » Si l'on peut diviser par deux le temps nécessaire pour résoudre un problème complexe, on peut également parvenir à résoudre des problèmes trop complexes pour l'avoir été jusque là. Le système GROPE-III (c'est le nom donné par l'UNC à la dernière version de son mécanisme d'amarrage de molécules) a fait la preuve de son utilité pour les biochimistes qui s'en sont servi dans un contexte de recherches faisant appel à l'informatique. L'objectif suivant de l'UNC, c'est de développer le système VIEW, un outil de visualisation en trois dimensions (en 3D) à destination des biochimistes comme des autres scientifiques, qui leur permettra de faire appel alternativement à plusieurs types de visualisation.

Année après année, Brooks et le nombre grandissant de professeurs en informatique qui sont venus participer au programme de recherche en RV de l'UNC ont sélectionné d'autres problèmes pilotes. L'imagerie médicale est devenue un champ extrêmement fertile qui devrait continuer à ensemencer la recherche en RV pendant de nombreuses années. Sur les visites simulées, Brooks nota : « Nous avons estimé qu'il s'agissait d'un bon problème pilote par rapport à l'amarrage moléculaire et à l'imagerie médicale. Elles ont en effet un avantage considérable : tôt ou tard, le bâtiment « visité » est construit et il est possible alors de comparer le réel et le virtuel pour analyser l'écart qui sépare encore le second du premier. Ce n'est pas le cas des molécules, qui sont trop petites pour qu'on les visualise réellement. Dans cette application, il s'agit d'aider des gens à découvrir l'inconnu, à comprendre une structure. Dans les visites simulées, il s'agit d'aider l'architecte et son client à voir les conséquences pratiques d'un plan à un moment où justement, le bâtiment n'existe qu'à l'état de plan. »

Je demandai à Brooks si son expérience de chef de grand projet informatique avait influencé sa manière de conduire la recherche en RV ; il se servit des visites simulées comme exemple du type d'outils qu'il cherchait à produire : « Ce que je retire de mon expérience de conception d'ordinateurs et de logiciels, c'est que le plus difficile, dans tout travail de conception, c'est de déterminer exactement ce que l'on cherche à faire et de le traduire en objectifs et en spécifications précises. Je suis fermement convaincu que l'on ne peut y parvenir d'un seul coup, à l'avance. Il est indispensable de faire appel à un processus itératif, répétitif. C'est de cette manière que les gens prêts à y consacrer du temps exploitent les visites simulées : ils passent une journée dans leur bâtiment virtuel, parcourent toutes ses pièces, ses couloirs et notent les problèmes qu'ils rencontrent, vérifient que les espaces de rangement semblent suffisants, repèrent les endroits où la circulation est difficile, etc. Ils simulent également les conditions « exceptionnelles », grande réception annuelle et ce genre de choses. Les architectes nous disent que cela ne leur pose aucun problème de visualiser une structure en trois dimensions à partir des plans, mais ça en pose certainement un à leur clients ! Et si ensemble, le client et l'architecte peuvent « déboguer » le bâtiment (comme on dit « déboguer un programme informatique ») lorsqu'ils en sont encore à la phase de sa conception, c'est-à-dire que tout n'existe que sur papier et que les plans d'exécution n'ont pas encore été faits, ils font de sérieuses économies en problèmes ultérieurs. Je ne crois pas qu'il y ait là le même potentiel à « changer la vie » que dans le cas de l'application d'amarrage moléculaire, mais il s'agit tout de même pour nous d'un bon problème pilote, en raison de cette possibilité de vérification a posteriori. »

Après l'amarrage moléculaire, les visites architecturales simulées et l'imagerie médicale, le quatrième et dernier problème pilote répond au souhait de Michael McGreevy, de la NASA, d'utiliser la RV pour « survoler » une planète à partir des données d'imagerie de celle-ci dont on dispose. Le travail de James Coggins, à l'UNC, a porté en l'occurrence sur notre propre planète. Landsat et d'autres satellites fournissent en effet un volume de données extrêmement riche, 24 heures sur 24, et portant sur le monde entier. La discipline du « télérepérage » (remote sensing) s'applique à extraire les informations météorologiques, géologiques, écologiques et relatives aux sources d'énergie pertinentes parmi cette masse de données graphiques. Là encore, le survol d'images en 3D de la Terre telle qu'elle apparaît vue d'un satellite n'a d'intérêt que pour stimuler la réflexion. Si cette dernière conduit à savoir où frappera tel ouragan, ou bien à quel endroit se trouve une nappe de pétrole, cet intérêt peut se mesurer en vie sauvées et en dollars gagnés. De plus, les phénomènes macroscopiques liés à la vie sur Terre nous occuperont immanquablement dans les décennies à venir. Toute découverte portant sur des problèmes de cet ordre de grandeur et de complexité pourrait valoir bien plus que le prix du matériel nécessaire pour la favoriser.

La visualisation scientifique est également un des dadas de Frederick Brooks. Si l'amplification intellectuelle est le but poursuivi par le laboratoire de l'UNC, la visualisation scientifique représente la « boîte à outils » que Brooks et ses collègues offrent aux scientifiques qui cherchent à accroître leurs capacités. Après avoir attendu des années la puissance informatique nécessaire, Brooks est désormais convaincu que les ordinateurs d'aujourd'hui « nous donnent le pouvoir d'élaborer des modèles aboutis de phénomènes naturels complexes, et de les explorer pour stimuler notre réflexion à la fois sur les modèles et sur les phénomènes. » Notant que les révolutions scientifiques de l'époque de Newton ont été possibles grâce au pouvoir que conférait les nouveaux outils mathématiques de calcul et d'équations analytiques, Brooks estime que la capacité des ordinateurs modernes à représenter sous forme compréhensible des modèles mathématiques complexes en temps réel peut aider à de nouvelles avancées dans les découvertes scientifiques. En mettant côte à côte les types de modélisations dans lesquelles excellent les ordinateurs et les types de phénomènes naturels complexes qui intéressent les scientifiques, on distingue bien l'intérêt des applications haptiques interactives. L'étude de la dynamique des espèces est un exemple de modèle mathématique à grande échelle. La structure protéinique est un modèle mathématique détaillé. Une simulation magnétohydrodynamique est une modélisation en 3D.

La tectonique des plaques est un exemple géophysique de modèle non linéaire ; la propagation des ondes de choc est un modèle discontinu ; les quasars, les pulsars et les trous noirs sont également des modèles discrets ; les particules et les quarks sont indéterminés. Parmi les autres phénomènes naturels cités par Brooks comme adaptés à une modélisation mathématique avancée, notons enfin la géologie pétrolière et le flux sanguin corporel. La clef de la synergie entre les points forts de la machine et les compétences propres à son partenaire humain, c'est l'imagerie de synthèse interactive, et comme le dit Brooks : « Si, comme on le dit, la mathématique est la science reine, l'imagerie de synthèse, c'est l'interprète royal. »

Il est certain que, pour les non-scientifiques, l'imagerie de synthèse, ou informatique graphique, s'est déjà avérée un amplificateur intellectuel par rapport à l'époque des machines à écrire pour ce qui concerne la communication d'informations complexes. Brooks voit dans l'affirmation des micro-ordinateurs comme outils intellectuels une des bases sur laquelle peut s'appuyer le développement naissant d'applications de visualisation scientifique. « La visualisation scientifique dans son ensemble a été catalysée technologiquement par le succès d'applications commercialisées d'informatique graphique, c'est-à-dire les traitements de texte, les tableurs, les logiciels de PAO, de CFAO, les simulateurs de vols et autres jeux fonctionnant selon ce mode. On peut remonter plus loin encore et dire que l'informatique graphique dans son ensemble a été catalysée technologiquement par l'avènement commercial de la télévision », déclara Brooks dans un discours fait au SIGGRAPH 1990, et il ajouta : « Nous comptons sur le même type de processus pour accélérer le développement et abaisser le coût des matériels d'interaction haptique. Ce sont les secteurs de la robotique, du jeu vidéo, et de la simulation de conduite qui développeront les technologies nécessaires et ces dernières seront adaptées à la télécommande d'engins et à la visualisation scientifique. » En d'autres termes, les progrès en création pharmaceutique et en imagerie médicale seront favorisés indirectement par la réussite des géants industriels du futur secteur de la RV, qui seront plus vraisemblablement les entreprises de jeu vidéo que celles proposant des outils scientifiques.

Brooks donne plusieurs exemples de domaines probablement prioritaires pour la mise en œuvre de l'interaction haptique comme composante de la visualisation scientifique. La création moléculaire apparaît en première ligne : « Nous pensons que l'industrie pharmaceutique devrait trouver un bénéfice important à l'utilisation des interactions haptiques, mais que ces applications seront développées relativement lentement dans les dix ans à venir. En plus de l'amarrage médicament-enzyme, on peut imaginer des applications de ce procédé sur les intercalateurs d'ADN [il s'agit de l'apport de l'informatique dans la cartographie des gènes humains], dans la création de protéines et dans les études sur le pliage et l'empaquetage des protéines. La transmission de ces forces subtiles pourrait bien apporter beaucoup à un chercheur en quête d'idées et d'hypothèses nouvelles », prédit-il à Dallas en août 1990. A titre d'exemples, il cita l'attraction Star Tours, réalisée par Lucasfilm pour Disney [du cinéma dynamique, visible à EuroDisney] et le jeu vidéo à force réactive Hard Drivin' d'Atari, qui représentent les premiers succès de l'interaction haptique en matière de loisirs. Brooks estime que cette application aux jeux et aux loisirs sera la plus rapide à se développer dans les années 90.

Malgré la passion qu'il éprouve en pensant à l'utilisation future de l'interaction haptique dans l'investigation scientifique, Brooks n'hésite pas à faire part de deux causes d'inquiétude majeure : Tout d'abord, et bien que la valeur de la simulation pour l'enseignement soit grande, car on « apprend par le concret », nombreux sont les phénomènes pour lesquels une expérience directe est nécessaire, qui permette de distinguer la théorie de la pratique. Brooks s'inquiète également du fait que plus les simulations en RV deviennent réalistes, plus grande est la possibilité qu'elles induisent en erreur. Un modèle n'est jamais aussi complexe que le phénomène qu'il modélise ; une carte n'est jamais aussi détaillée que le territoire qu'elle décrit, et plus important encore, comme l'a noté le sémanticien Korzybski, « la carte n'est pas le territoire. »

Face à ces limites de la RV en tant outil d'apprentissage, Brooks me dit : «  Il ne m'est pas difficile d'imaginer un mécanicien portant des sortes de lunettes « à double foyer »sur lesquelles, dans la partie supérieure, serait présenté un « manuel » composé d'animations 3D montrant comment tester, démonter ou réparer un organe, alors que la partie inférieure serait transparente et neutre, lui permettant de voir l'organe lui-même et d'appliquer directement les instructions fournies. Le « manuel » se compose probablement d'images, d'animations, et d'une partie audio, et le tout se commande à la voix sans interrompre son travail ; ainsi, n'importe qui pourrait travailler sur une voiture, même sans avoir jamais vu le modèle en question. Cela ne peut toutefois remplacer complètement et de manière efficace une expérience de plusieurs années en mécanique automobile, qui permet de distinguer théorie et pratique de manière pratiquement inconsciente. »

Certains types de simulations hyperréalistes peuvent induire en erreur de manière dangereuse. Un des exemples cités par Brooks est l'utilisation de modèles mathématiques fractaux pour simuler les irrégularités naturelles des montagnes. Les représentations informatiques anciennes de ce type de terrain étaient trop régulières pour paraître naturelles. Mais l'on sait maintenant que les montagnes, comme les côtes maritimes ou les flocons de neige, ont des formes qui peuvent être décrites par des modèles mathématiques appelés « fractaux ». On peut prendre par exemple un modèle informatique traditionnel des Montagnes Rocheuses (à l'Ouest des Etats-Unis) et lui ajouter beaucoup de réalisme en le dotant d'une composante fractale. Le fractal ne sera pas une représentation directe des irrégularités des Rocheuses mais sera mathématiquement caractéristique de celles-ci, au moins pour l'œil humain. Cependant, comme le fait remarquer Brooks, il serait hasardeux de lancer une armée en campagne sur un tel terrain si sa seule expérience de celui-ci n'est que sa modélisation fractale.

« Le caractère trompeur des simulations est amplifié dans des cas comme celui-là », fit valoir Brooks à la fin de notre entretien, « et les montagnes fractales sont une bonne représentation visuelle de la distinction importante entre réalisme et véracité. Le danger d'un réalisme toujours croissant, c'est si la véracité correspondante n'est pas là. Cela revient à enseigner quelque chose qui n'existe pas. Dans les simulations d'entreprises ou guerrières, et dans la mesure où les modèles utilisés ne sont pas réels, on peut commettre l'erreur d'enseigner à des gens, d'excellente manière, des tactiques ou des stratégies qui ne fonctionnent pas dans le monde réel. »

Les espoirs de Brooks d'aboutir à de nouveaux outils d'investigation scientifique et ses avertissements sur les limites des simulations sont le reflet de la nature très diverse de la RV. L'homme du XXIIème siècle aura peut-être du mal à comprendre comment la race humaine a pu se débrouiller un jour pour vivre sans systèmes de réalité virtuelle, de la même manière que nous tenons pour acquis aujourd'hui l'utilité des antibiotiques ou des réfrigérateurs électriques. De meilleurs médicaments, de nouveaux outils d'aide à la réflexion, des robots plus intelligents, des bâtiments mieux construits, des systèmes de communication améliorés, des supports d'enseignement merveilleusement efficaces et une richesse sans précédent, voilà quels pourraient être les résultats d'une utilisation intelligente de la réalité virtuelle. Ces mêmes technologies pourraient également avoir un certain nombre de conséquences sociales moins positives, en tout cas à nos yeux d'hommes et de femmes du XXème siècle.

Nos traits personnels les plus intimes et donc les plus stables — le sens de notre position dans l'espace, l'idée que nous nous faisons de nous-mêmes, les caractéristiques qui nous semblent définir notre « humanité » — seront bientôt redéfinissables. Cette technologie capable de reproduire un des procédés les plus complexes de l'esprit humain — convertir des flux de signaux en une modélisation fine, en couleur, en trois dimensions et assez cohérente de ce que nous appelons « la réalité » — est aujourd'hui encore balbutiante. Mais les technologies évoluent ces temps-ci plus rapidement qu'elles ne l'ont jamais fait. Quel regard porterons-nous sur nous-mêmes et sur les autres lorsque nous vivrons dans des mondes artificiels plusieurs heures par jour ?

Les premiers moments de toute révolution technologique sont remplis d'incertitude. Pendant une courte période, avant que les industries, les infrastructures et les mentalités soient remodelées par une technologie, le cours de celle-ci est indéterminé. La RV représente à ce titre une occasion unique dans l'histoire. A posteriori, nous comprenons quelque peu aujourd'hui comment le téléphone, la télévision et les ordinateurs ont connu une expansion dépassant de loin l'attente de leurs inventeurs respectifs et ont changé notre vie. Au vu des conséquences sociales de ces nouvelles technologies, nous commençons à distinguer en quoi nous aurions pu, il y a vingt ou cinquante ans, mieux gérer leur développement. Les dix ou vingt ans qui nous séparent du plein impact sur nos vies de la réalité virtuelle nous laissent une chance de faire preuve de prévoyance, seule ressource efficace de maîtrise d'une technologie en pleine croissance.

Au cœur de la RV, on retrouve le concept d'expérience — l'expérience d'être au sein d'un monde virtuel ou dans un lieu distant sans y être physiquement — et les problèmes propres à la création d'expériences, de sensations artificielles ne datent pas de l'ère des ordinateurs. Si le MIT et le Ministère de la Défense américain sont fort capables de contribuer de manière décisive au développement de nouvelles technologies basées sur l'informatique, le centre du monde de l'illusion se situe plutôt du côté d'Hollywood. Sans les vicissitudes de financements défaillants, c'est peut-être Morton Heilig, plutôt qu'Ivan Sutherland, qu'on considérerait comme le fondateur de la RV. Bien qu'il ait rêvé d'un « théâtre de l'expérience » et de simulateurs remplaçant les flippers dans les salles de jeu il y a trente ans, Heilig cherchait à faire entrer Hollywood dans le monde des illusions en relief que les informaticiens explorent aujourd'hui. Comme par un clin d'œil de l'histoire, le secteur des jeux et des loisirs pourrait bien devenir le principal moteur des développements à venir de la RV, une génération après qu'Heilig eut indiqué cette voie.