Les objets en 3D deviennent réels

Disposé dans le rayon jouets d’un grand magasin, l’écran LCD devient miroir magique. Montrez-lui une boîte Lego : l’écran reflète la vidéo de son emballage. Ce n’est pas tout : il affiche pardessus un objet en images de synthèse. Pas n’importe lequel ! Une belle vue en 3D du Lego assemblé (une fois le montage terminé). Ce jouet virtuel semble solidement collé à l’emballage. Tournez la boîte : la vue en 3D pivote en même temps que l’emballage sur la vidéo. Approchez-la de l’écran, l’emballage et le Lego virtuel grossissent proportionnellement. Retournez enfin la boîte : les pièces du modèle en 3D se décollent et s’écartent, produisant une spectaculaire vue éclatée.Le secret de ce miroir magique porte un nom : la ‘ réalité augmentée ‘. Sous l’écran est placée une caméra. Un ordinateur camouflé analyse la vidéo en temps réel. Lorsqu’il repère l’emballage dans le flux des images, il y incruste une vue en 3D du Lego. Mélangées, les deux images (celle de la vidéo et celle du Lego) sont diffusées sur l’écran LCD. La réalité ?” captée par la vidéo ?” est ainsi enrichie d’images virtuelles, ‘ augmentée ‘ d’informations. De la science-fiction ? Plus maintenant : cet écran magique est visible dans un magasin de jouets à Marne-la-Vallée, le Ludendo Village. La réalité augmentée commence à sortir des laboratoires pour conquérir le grand public.Quelles autres applications peut-on envisager ? Pour le savoir, nous nous sommes rendus dans les locaux de Total Immersion, jeune pousse française qui regorge de bonnes idées. Nous avons pu ainsi tester, avec un certain émerveillement, un circuit automobile bien réel sur lequel tournent des voitures virtuelles, des cartes à jouer sur lesquelles apparaissent des personnages en 3D (elles devraient être commercialisées cette année), et plusieurs autres trouvailles amusantes, dont quatre que nous avons sélectionnées.Un PC récent équipé d’une webcam suffit à faire fonctionner ces applications. ‘ En 2004, on utilisait deux bêtes de course, se souvient Valentin Lefèvre, cofondateur de Total Immersion. Un PC pour calculer les images 3D, un autre pour localiser l’emballage dans le flux vidéo. Aujourd’hui, un PC portable Dual Core avec une carte graphique à mémoire dédiée suffit ‘.

Une opération délicate

Toute la puissance de l’ordinateur est mobilisée pour localiser la ‘ cible ‘, la boîte Lego par exemple, dans un flux vidéo. L’opération est plus difficile qu’il n’y paraît. ‘ Au début de nos recherches, nous avons exploré des solutions lourdes et coûteuses. Exemple : équiper la cible d’un petit émetteur radio. Autre principe : utiliser des caméras motorisées dont les déplacements sont pilotés par ordinateur, avec une cible fixée à un emplacement précis. Mais ces solutions étaient trop contraignantes pour être adoptées par le grand public. La conclusion s’est imposée en 2004 : il fallait mémoriser la forme et la texture de l’objet cible, pour pouvoir repérer sa signature visuelle dans le flux vidéo ‘.

Un marché très prometteur

Cette mémorisation passe par quelques contraintes : l’objet cible ne doit être ni monochrome, ni luisant. ‘ Son contraste doit être suffisant pour identifier une quinzaine d’intersections appelées points de Harris, ces fameux points dont la position change peu les uns par rapport aux autres, même lorsqu’on modifie l’orientation de la caméra ‘. Pour calculer ces points, l’objet doit être reproduit numériquement sous toutes ses coutures. Il faut recréer son volume en trois dimensions, puis y plaquer des repères. Généralement, une image photoréaliste de l’objet convient : ‘ c’est plus joli que les grosses croix blanches qu’imposent certains concurrents ‘. Un travail de spécialiste que Total Immersion voudrait simplifier : ‘ nous espérons qu’il suffira bientôt de filmer consciencieusement l’objet sous tous les angles ‘.Le savoir-faire des cinquante employés de Total Immersion semble en avance sur la concurrence. La start-up française, rentable depuis 2005, a réalisé 4 millions de chiffre d’affaires en 2007, dont 3 millions en France. Son premier client était à l’origine l’industrie automobile. Le marché grand public semble bien plus prometteur : la jeune pousse, localisée à Suresnes, banlieue chic parisienne, tente aujourd’hui de conquérir les marchés internationaux avec quelques-unes de ses séduisantes applications

L’attraction ‘ Les animaux du futur ‘ sera accessible au public le 5 avril au Futuroscope de Poitiers, et permettra de découvrir à quoi ressembleront, d’après les scientifiques, les espèces dans 100 millions d’années. Pour en profiter, il faudra chausser ces lunettes (voir photo). Côté pile, elles filment le décor, côté face, elles rediffusent la vidéo sur deux mini-écrans (un pour chaque ?”il). Au passage, des animaux en images de synthèse sont incrustés dans le flux vidéo. Le visiteur est libre de tourner la tête dans tous les sens : un ordinateur placé sous son siège calcule en direct les vues 3D affichées dans ses lunettes. Grâce à un bracelet-capteur, il peut même interagir avec les animaux virtuels, comme donner des bananes aux singes. Nous avons chaussé ces lunettes dans les laboratoires de Total Immersion : les images vidéo 800 x 600 sont de bonne qualité, les animaux 3D convaincants. Mais le champ de vision est trop étroit : les enfants auront du mal à voir leur main. Coût de l’attraction : 7 millions d’euros.

Qui croirait que ces cartes tout à fait banales cachent des objets 3D animés ? Passez la première devant une webcam : à l’écran, apparaît une voiture tournant sur elle-même. Approchez la deuxième : un feu multicolore s’allume. Ses rayons portent loin : ils se reflètent sur la carrosserie de la voiture sur la carte d’à côté ! Sur la troisième carte, un oiseau surgit : il lance une boule de feu sur l’auto. Total Immersion a embauché des spécialistes du jeu vidéo pour programmer ces personnages et leurs interactions. En juin 2008, un gros éditeur américain sortira un magazine avec quelques-unes de ces cartes. Le premier numéro abritera une petite webcam. Disney et Lego seraient intéressés…

On se familiarise peu à peu avec la réalité virtuelle : des univers (composés d’objets et de personnages) construits en images de synthèse tentent de donner l’illusion de la réalité. La ‘ réalité augmentée ‘ est différente : il s’agit de superposer en direct à l’environnement réel des informations en tout genre. Cette technique exige de passer par un appareil intermédiaire qui capte le réel (lunettes vidéo ou écran couplés à une caméra) et ajoute ces informations. Un exemple est l’affichage de l’heure lors des prises de vue avec un caméscope. Il y a aussi les casques des pilotes dans certains films : leur visière devient un écran sur lequel sont projetées des informations sur la cible en ligne de mire. Aujourd’hui, de nouvelles applications émergent : des objets en 3D qui se superposent aux images réelles dans le flux vidéo des lunettes. Animés, ces objets tridimensionnels vivent leur vie en temps réel. Les applications grand public envisagées sont nombreuses : tourisme, publicité, commerce, etc.

Très amusant, témoigne ce jeune stagiaire. Il pilote au joystick une voiture virtuelle dans un décor réel. Le circuit en bois est filmé par une caméra vidéo, puis affiché sur la télévision. Les voitures sont incrustées sous la forme d’images de synthèse. En transparence, on aperçoit encore le modèle 3D du plateau de jeu, numérisé par Total Immersion. Ce socle virtuel sera dissimulé dans la version finale du jeu : les voitures donneront l’impression de rouler sur le circuit réel. Cette application a été commandée par un grand constructeur automobile.

Cette page d’un magazine imprimé abrite un jeu en 3D qui sortira en kiosque en Angleterre en juin. Une fois la webcam branchée et le logiciel installé, on peut tenter de découvrir une énigme. Pour ce faire, il faut masquer certaines images du journal pour faire apparaître des objets en 3D. Ces derniers s’affichent en direct sur l’écran du PC superposés à la vidéo.

La page étant un objet plat en deux dimensions, la détection s’en trouve simplifiée. Lalgorithme de ciblage consomme peu de puissance de calcul : un PC ordinaire peut surveiller trente zones en simultané sur la page A4. Une aubaine pour les concepteurs du scénario, qui utilisent chaque zone pour déclencher une action différente.