Jusqu’ici, le rendu perçu n’était pas à la hauteur des promesses
Fasciné par l’holographie, j’ai commencé à m’intéresser à la génération de mondes 3D en 91, quand un papier de Texas Instrument décrivait un appareil de projection 3D volumique qui se rapprochait, dans le rendu perçu, à « l’holographie » à la Star Wars. L’appareil de rendu 3D d’Avatar 1 en serait l’héritier.
Plus tard, Second World me donnait l’impression de me promener dans un monde virtuel avec un masque de plongée et des palmes aux pieds, tellement l’expérience était loin d’être aussi naturelle qu’on aurait pu la rêver en lisant Snow Crash. En tout cas, on était bien loin de l’Holodeck.
Il y a quelques années, avec Damien Morlier un professionnel de la grande distribution, nous avions développé Visumag. Cet outil permettait de visualiser les performances des supermarchés en 3D. L’idée n’était pas, comme d’autres outils, de représenter les produits dans les gondoles, mais de représenter par des couleurs les performances des gondoles. En un coup d’œil, le professionnel pouvait appréhender les zones chaudes ou froides de son magasin. En s’y promenant, on pouvait interroger chaque gondole pour entrer dans les détails. A l’époque, j’avais mis en garde Damien sur les limites d’un écran d’ordinateur, fut-il 3D, ce qui était le cas de mon ordinateur. En effet, l’angle de vision d’un écran est de l’ordre de 35 à 40°, à une distance de 60 à 70 cm. Si la réalisation de l’application répondait à la spécification, le déplacement donnait vraiment l’impression de marcher avec des palmes au pied. Malgré l’effet masque et palmes, le logiciel n’était pas aussi immersif que nous l’aurions voulu. Quoi qu’il en soit, si Visumag était sans doute un bon outil, le marché s’intéressait davantage aux applications mobiles, qu’à un outil d’analyse des performances des magasins, c’est la vie.
Dans les jeux 3D, l’impression est différente, l’environnement est conçu à partir des contraintes du jeu et non des contraintes physiques. le joueur ne se concentre pas sur les mêmes types d’information et de nombreuses actions permettent de pallier l’effet de palmes au pied.
Quand les lunettes de réalité virtuelle sont arrivées, leur faible angle de vision donnait la même impression de masque de plongée. Utilisées pour la réalité augmentée, l’impression de scaphandre était moindre mais, quoi qu’en disent les publicités, le rendu perçu n’était pas vraiment au rendez-vous. Utilisées dans la vraie vie, les lunettes de réalité augmentée peuvent avoir le même effet que téléphoner au volant. Avec un effet immersif, elles ont tendance à couper son utilisateur du réel.
On pourrait opposer à cette affirmation que les casques de réalité mixte sont l’interface homme-machine de base du chasseur F35 pour lequel ils remplacent, entre autres, le viseur tête haute et permettent la vision « rayon X », « see through ». L’effort technique porté sur ce casque est hors de portée, pour l’instant, du marché grand public. Il y a cinq ans, le casque, spécialement conformé à la tête du pilote, valait de l’ordre de 400,000$. A part pour des vols de positionnement, le temps d’un vol n’excède que rarement 2h. L’entraînement du pilote à l’utilisation du casque est incompatible avec une application grand public.
A l’époque de l’épidémie de Covid, dans la pré-étude d’un « Intelligent Flight Management System » pour l’aviation civile, j’ai déconseillé le casque au bénéfice d’autres techniques de représentation des données : le MTBF (Mean Time Between Failure), l’effet découplage du réel et la limitation des technologies rendaient l’utilisation d’un modèle grand public inappropriée en l’état, sur un avion civil.
Le risque d’une attente utilisateur qui ne serait pas au rendez-vous
De la stéréoscopie qui date du XIXème siècle, du light field dont les origines remontent aux travaux de Gabriel Lippmann du début du XXème, de l’holographie qui ont valu un prix Nobel à Denis Gabor, de la projection volumique, beaucoup d’applications ont déçu par leurs résultats inférieurs aux promesses. Qui achète encore des écrans de TV 3D ?
Le fabricant de caméras professionnelles, Red, a payé cher le flop de son téléphone Red Hydrogen One porté par une campagne de communication impressionnante. Pourtant réalisé avec l’excellente technologie d’écran light field de la société Leia, le téléphone a déçu les acquéreurs. Et que dire du Métavers de la société Méta, pour lequel les campagnes de promotions vantaient et vantent encore une impression proche du monde réel, alors que l’expérience n’était même pas à la hauteur des jeux 3D?
Parfois, il est préférable d’attendre et tirer les leçons des erreurs des pionniers. C’est ce qu’avait fait Dyson, avant de proposer son aspirateur robotisé dont le pionnier avait été Electrolux. Il est vraisemblable qu’Apple a attendu d’avoir la bonne technologie et le bon écosystème.
Ready Player One, pas que pour jouer
Le marché du jeu est sans doute le plus évident secteur d’application des casques de réalité virtuelle dont la meilleure expression se trouve dans le film Ready Player One. Les casques et les lunettes de réalité augmentée ont trouvé le marché de la maintenance. La formation serait bien sûr un domaine d’application privilégié des casques de réalité augmentée, de réalité virtuelle et de réalité mixte.
L’épidémie de Covid a porté les télé-réunions à un niveau jamais atteint. Elles sont, bien sûr, un des domaines les plus évidents d’application professionnelle de la réalité virtuelle étendue. Elles ont facilité le travail à domicile, avec l’effet engagé depuis longtemps de proposer les outils permettant de réduire les espaces de bureau et les déplacements automobiles. Tout est en place pour une évolution significative de notre façon de travailler. Il manque la technologie qui fera vraiment tout basculer. On assistera alors à un exemple d’exaptation.
Apple Vision Pro, le chaînon manquant ?
Il suffit d’une petite évolution dans une chaîne pour qu’un usage se révèle. La vidéophonie préexistait bien avant son usage massif soit facilité par l’internet et l’évolution des capacités d’usage des utilisateurs, ce qui faisait dire aux professionnels de la téléphonie au début des années 2000, que s’il y avait un besoin, il aurait déjà trouvé son marché. Similairement, les techniques de vision stéréoscopique 3D existent depuis longtemps mais l’usage était loin d’être satisfaisant.
Apple est un des rares fabricants capables d’une intégration verticale, permettant d’offrir des produits cohérents. Lors de sa dernière keynote, Apple semble avoir coché toutes les cases du produit grand public stéréoscopique tant attendu :
– un angle de vision qui semble couvrir 180° à l’horizontale;
– une capacité de calcul, embarquée sur les lunettes, inégalée, grâce aux processeurs maison d’Apple;
– un OS dédié : Spatial OS;
– l’utilisation de diverses techniques d’intelligence artificielle, permettant d’améliorer l’expérience;
– une finesse de grain obtenue par des micro-oleds permettant de faire tenir 8*8 pixels là où on en mettait 1 seul;
– un écran 4K à 11.5 MPixel par œil (en comparaison, un écran 4K Ultra wide television comporte 11 MPixel, et un 4K WHXGA, 16 Mpixel);
– des capteurs de suivi du regard, des accéléromètres, des caméras pour détecter l’environnement et les gestes etc.;
– reconnaissance de la parole;
– un « form factor » qui semble confortable et léger grâce au déport des batteries;
– les environnements de développement classique du monde Apple dont l’excellent Swift et une ouverture sur Unity 3D et Reality Composer Pro;
– l’intégration d’applications de l’IPhone appliquées sur un mur virtuel.
Certes le prix, 3500$, est un prix Apple mais la marque est synonyme d’un MTBF compatible avec une utilisation professionnelle. C’est donc un produit dispendieux mais par forcément cher, surtout quand on doit le comparer au coût par employé d’un espace de bureau.
Comment interagir avec l’environnement 3D ?
Pour l’instant, il semble que le moyen d’interagir avec le monde repose sur le regard, les gestes et la reconnaissance de la parole.
Même si les capteurs de gestes sont, comme on peut le supposer, très performants, on ne peut pas passer sa journée de travail à danser la Macarena pour interagir avec le monde 3D, à l’instar de Tom Cruise dans le film « Minority Report ». Les interfaces neuronales directes qui avaient fait leur apparition dans les jeux en 2009 avec Mindflex de Mattel, pourraient être une solution, mais elles demandent un temps d’apprentissage incompatible avec une utilisation professionnelle. Je ne me vois pas plus m’équiper d’un tapis de marche 3D pour me déplacer dans un monde virtuel. L’inspiration pourrait-elle venir des plages Braille qui équipent les claviers des malvoyants?
Cela étant, sur Vision Pro, la gestion des gestes est très évoluée et plus subtile que celle de Minority Report. Pour ceux qui pensaient avoir une excuse pour danser la Macarena au bureau, c’est raté.
Une mutation prévisible des développeurs de logiciels professionnels
Si Apple Vision Pro est vraiment au rendez-vous, la disponibilité de la technologie entraînera un appel d’air pour les développeurs du monde des jeux et de l’animation 3D vers les développements de logiciels professionnels. Pour les développeurs de l’ancien monde, les outils ne sont pas compliqués à utiliser, mais ils demandent un certain temps de pratique pour en maîtriser les subtilités. Cette évolution permettrait de répondre aux attentes des millénaristes, les Zoomer, qui doivent trouver les logiciels d’entreprise comme venant du siècle dernier.
On peut aussi s’attendre à ce que les logiciels dits d’« Intelligence Artificielle » s’attaquent à la création des environnements virtuels, de la même manière de ce qui se fait dans la création d’images fixes. C’est très certainement ces derniers qui vont complètement transformer le rôle du développeur dans les dix années qui viennent. Bien sûr, l’IA ne saura pas tout faire et on aura besoin de spécialistes pour développer des composants particuliers. Mais le développeur de base devra plus être un développeur de méta-programmes alimentant des systèmes d’IA qu’un développeur de programmes. D’ailleurs, je préfère le terme « méta-programmeur » au terme « IA prompter ». Du méta-programmeur au métavers, il n’y a qu’un pas.
Dans un prochain article, je vous parlerai de light field.
Hugues Sansen
