Immersive Internet | beyond reality

Metavers will be one of the highlights of the year. Mark Zuckerberg’s new hobby of capturing public attention promises new communication, “holistic” experiences, and even speculation of acquiring virtual properties. Are you ready for the future stage of the Internet?

Posted on November 28, 2021

Tristan Beloken

Tristan Beloken
Journalism

Ready for the metaverse?

By changing his company’s name to Meta, Facebook’s big boss, Mark Zuckerberg, promised to devote more energy than anyone else to creating the “metaverse,” this “holy grail of social interaction.” Stars like Snoop Dogg and Paris Hilton are already trying to lure you out there. The immersive internet may be closer to reality than we think.

Harold Dumore arrives in the conference room of the OVA offices in downtown Montreal with two VR headsets under his arm. The programmer and entrepreneur just returned from San Francisco, where he met with dead leaders.

“Meta currently has a strong interest in tools like the ones we have developed, which allow users to create immersive content themselves,” he says, barely concealing his enthusiasm.

After entering the VR industry in 2014, her tech startup OVA survived the ‘virtual reality winter’. Dozens of young computer scientists like him, who went crazy after the first consumer virtual reality headsets came out, saw their nascent industry collapse overnight due to a lack of consumer interest.

But Mark Zuckerberg just kicked the cell. At the end of October, the big Meta boss announced his intention to invest billions in creating a “metaverse”. The concept, imagined by dozens of science fiction authors, refers to a type of immersive 3D web, where users communicate socially through their digital avatars.

After “Web 2.0” and “Mobile Internet”, the era of the “metaverse” promises universal connectivity, in which we can feel the existence of other life-connected “experiences” and virtual goods. Users will be able to transfer their avatars and virtual objects from one platform to another, across a vast network of interconnected universes that are not subject to the whims of tech giants (agnostics).

Glamorous virtual parties

Technically, the ingenuity of virtual reality is still a far cry from the “holy grail of social interaction” that Mark Zuckerberg promised. But the video game industry, fueled by multiplayer 3D games for more than 25 years, already has a head start in the field.




Le très populaire jeu immersif Roblox, dans lequel les 165 millions de joueurs actifs sont encouragés à fabriquer eux-mêmes des univers 3D et des scripts interactifs appelés « expériences », multiplie les évènements qui s’éloignent du jeu à proprement parler. Roblox a organisé à la mi-septembre une « tournée » du groupe rock Twenty One Pilots sur sa plateforme. Les corps et les expressions faciales du chanteur Tyler Joseph et du batteur Josh Dun ont été numérisés, puis reproduits dans un univers 3D interactif pour un concert de 5 chansons, durant lequel jusqu’à 50 joueurs de Roblox à la fois pouvaient participer et interagir avec les autres.

Roblox a aussi lancé, début octobre, le Paris Hilton World, un monde numérique construit autour de l’influenceuse mondaine Paris Hilton, meublé de jets privés, de super-yachts et de centres commerciaux 3D glamours où on peut, avec un peu de chance, croiser l’avatar de la star.


PHOTO FOURNIE PAR ROBLOX

Le Paris Hilton World dans Roblox

Pour les profanes, ces deux expériences peuvent paraître enfantines et sans grand intérêt visuel. Les avatars de Roblox ressemblent à des bonhommes LEGO, et sont volontairement simplistes pour préserver les capacités de calcul des serveurs informatiques qui font rouler la simulation. Pour assurer la fluidité de l’image à l’écran, les textures et les éclairages des environnements sont aussi maintenus à un niveau digne des meilleurs jeux vidéo d’il y a 15 ans. On est loin de l’évènement « haute fidélité » annoncé par Roblox.

L’entreprise, qui vaut 77 milliards US à la Bourse de New York, investit néanmoins massivement pour rendre l’expérience plus réelle. Roblox a son propre service de recherche scientifique, qui se penche sur les façons d’améliorer l’immersivité sur sa plateforme. Il est dirigé par Morgan McGuire, un spécialiste du graphisme numérique, qui est également professeur adjoint au département de génie informatique de l’Université McGill. « À terme, nous voulons tous que le métavers soit une expérience où le corps est représenté de la façon la plus réaliste qui soit », explique-t-il en entrevue à La Presse.

  • Morgan McGuire, spécialiste du graphisme numérique et professeur adjoint au département de génie informatique de l’Université McGill

    PHOTO TIRÉE DU COMPTE TWITTER DE MORGAN MCGUIRE

    Morgan McGuire, spécialiste du graphisme numérique et professeur adjoint au département de génie informatique de l’Université McGill

  • Avatar de Morgan McGuire dans Roblox

    IMAGE FOURNIE PAR ROBLOX

    Avatar de Morgan McGuire dans Roblox

1/2

Mais ce que nous montre la recherche, c’est que pour créer une impression de présence dans des univers immersifs, la fidélité de la représentation des personnes a très peu de pertinence. On l’a vu avec la prolifération des réunions sur Zoom : une image photoréaliste ne génère pas nécessairement un sentiment de présence.

Morgan McGuire, spécialiste du graphisme numérique et professeur adjoint au département de génie informatique de l’Université McGill

Un marché d’objets virtuels

Une des clés de l’immersivité réside plutôt dans la possibilité pour les participants d’interagir avec des « objets cohérents » qui meublent l’environnement virtuel, estime M. McGuire.

Et pour meubler ces univers, les concepteurs comme Meta et Roblox multiplient les appels aux créateurs de contenus.

C’est dans ce créneau qu’Harold Dumur espère jouer un rôle. Il a développé un logiciel appelé Stellar X, qui permet à des non-programmeurs de créer des espaces collaboratifs de simulation en réalité virtuelle, très orientée sur les besoins de formation en entreprise. Il est en attente d’approbation pour pouvoir distribuer son logiciel sur le « Meta Store ». Son partenaire d’affaires Pascal Leblanc et lui rêvent aussi de créer une sorte de « Canadian Tire des objets virtuels », où les utilisateurs pourraient venir approvisionner leurs avatars en objets numériques interactifs pour le métavers.

Car la promesse du métavers, c’est aussi celle de créer un véritable marché d’objets numériques qui seront nécessaires à la vie quotidienne des avatars. Les studios de jeux comme Roblox et Epic, développeur du très populaire jeu Fortnite, tirent déjà des revenus en vendant des habillages (skins), des accessoires de luxe griffés et autres améliorations cosmétiques pour personnaliser les avatars.

Des investisseurs cherchent maintenant à créer des propriétés foncières dans le métavers. Le Montréalais Laurent Féral-Pierssens, partenaire du fonds international de capital de risque True Global Ventures, vient de participer à un investissement de 10 millions dans The Sandbox, un univers semblable à celui de Roblox, mais dont le nombre d’espaces virtuels disponibles a été volontairement limité par les concepteurs pour créer un effet de rareté. Plusieurs grandes marques de commerce et de jeu, comme Atari, Tesla et le rappeur Snoop Dogg, ont payé un total de 144 millions US pour acquérir quelque 12 000 terrains virtuels mis aux enchères.

« Chacune de ces propriétés fait l’équivalent de 100 m de long sur 100 m de large sur 200 m de haut, et prend deux minutes à traverser à pied avec un avatar », explique Sébastien Borget, PDG et fondateur de The Sandbox. C’est aux acheteurs d’y bâtir leur domaine au gré de leurs fantasmes, et d’y attirer les visiteurs virtuels, qui pourront s’y téléporter quand le jeu sera en ligne dans les prochains jours. Dans un des espaces achetés par la franchise The Walking Dead, ce sont les utilisateurs eux-mêmes qui sont appelés à créer des expériences. La franchise fournit les éléments de décor et les avatars de zombie inspirés de la série télé, et les utilisateurs doivent utiliser le logiciel de création fourni par The Sandbox pour les animer.

Le même outil de création sert aussi à fabriquer des objets numériques uniques pour la plateforme, dont l’authenticité et l’unicité sont assurées par la chaîne de blocs, la technologie derrière les cryptomonnaies. The Sandbox compte tirer des revenus de redevances sur les transactions pour ces objets numériques, aussi connus sous le nom de « jetons non fongibles ».

Les jeunes veulent définir leur identité, afficher l’extravagance de leur apparence sur ces plateformes. Ils veulent créer des sneakers virtuels et éventuellement les vendre, et ils accordent autant de valeur et de satisfaction à acheter des objets virtuels que des objets réels.

Sébastien Borget, PDG et fondateur de The Sandbox

Pour l’investisseur Laurent Féral-Pierssens, le potentiel économique du concept ne fait aucun doute. « On le voit avec tout ce qui est en train de se numériser : les monnaies, les œuvres d’art, la mode. Il y a une activité économique en constante croissance dans ce secteur », souligne-t-il.

« Avec la fusion de la technologie et de la finance, croit-il, on peut créer un environnement qui a une véritable utilité. »

Quand les spéculateurs virtuels s’en mêlent

Comme payer des impôts et la mort, la spéculation immobilière est l’une des rares certitudes auxquelles les humains ne peuvent échapper, même dans le métavers. Cette semaine, l’univers virtuel Decentraland a annoncé la vente d’une parcelle de terrain virtuelle à un prix record de 2,4 millions US. L’acheteur, la société Tokens. com, spécialisée dans l’achat et la vente d’actifs de cryptomonnaies, compte se servir de l’espace pour créer des évènements de « mode numérique » et y présenter des collections de vêtements virtuels pour personnaliser les avatars. En juin, l’agence Reuters avait rapporté la vente semblable d’un terrain pour près de 1 million US dans Decentraland à un promoteur qui y a déployé un centre commercial virtuel inspiré du district commercial Harajuku, à Tokyo. Reuters affirme cependant n’y avoir jamais croisé un seul utilisateur lors de plusieurs visites…

Le long, long chemin vers les « jumeaux virtuels »


ILLUSTRATION LA PRESSE

Les géants de la Silicon Valley nous promettent une immersion totale dans le métavers à travers des avatars qui deviendront un prolongement de notre identité. Mais il faudra se contenter de représentations cartoonesques de nous-mêmes pendant un bon moment.

Pour le peu qu’on sait de la stratégie annoncée en grande pompe par Mark Zuckerberg à la fin d’octobre, sa vision du métavers gravite autour de la plateforme de réalité virtuelle Horizon Worlds. Dans cet univers immersif fonctionnant avec des lunettes de réalité virtuelle, les avatars sont des troncs sans jambes, avec des visages de dessins animés vaguement réalistes. Ils n’affichent pratiquement aucune émotion, sauf si l’utilisateur en active avec les boutons de sa manette de contrôle.

La filiale Reality Labs, de Meta, travaille cependant à créer des « jumeaux virtuels » extrêmement photoréalistes, dont les expressions faciales imitent en temps réel la très large palette des émotions humaines.





La simulation est au stade très expérimental. Et pour qu’elle fonctionne, les participants doivent singer pendant près d’une heure une gamme complète d’émotions à l’intérieur d’un appareil de capture de la taille d’une salle de classe, muni de 132 objectifs d’appareil photo. Le monstre capte 180 gigaoctets d’images par seconde. C’est l’équivalent d’une année complète de visionnement de Netflix à temps plein, juste pour entraîner l’algorithme d’intelligence artificielle à imiter à la perfection les subtilités du langage non verbal d’une personne.

Le rendu est époustouflant. Mais il nécessite une capacité de calcul informatique largement supérieure à celle que permettent les cartes graphiques installées dans les ordinateurs de jeu les plus puissants. Pour arriver à un tel niveau de réalisme sur l’écran du commun des mortels, des serveurs distants, semblables à ceux utilisés pour stocker des données en infonuagique, mais consacrés entièrement aux rendus graphiques, seraient nécessaires, croit le programmeur montréalais Harold Dumur, qui a développé un outil de création d’univers de réalité virtuelle appelé Stellar X.

Ce genre d’infrastructure n’existe pas pour l’instant en Occident. Les entreprises de télécommunications ne sont pas là du tout.

Harold Dumur, programmeur et homme d’affaires

Autre problème : l’impression de présence et d’immersion, dans les univers 3D, est étroitement liée à la latence. Si l’image s’affiche avec un retard de plus de 50 millisecondes par rapport au mouvement commandé par l’utilisateur, la simulation provoque le « mal du cyberespace » (cybersickness), un état de désorientation, d’apathie et d’étourdissement fréquemment rapporté avec les casques de réalité virtuelle.

De plus, la latence grimpe aussi dès qu’on augmente le nombre de participants dans une simulation. Chez Roblox, c’est l’un des principaux problèmes auxquels le directeur de la recherche Morgan McGuire s’attaque : « Présentement, certains moteurs de jeu peuvent mettre 5000 joueurs dans le même environnement, mais le rafraîchissement de l’image va chuter à trois images par seconde. Dès qu’on ajoute le moindre délai [dans la fluidité de l’image]It no longer looks real. My challenge is to find a way to put 60,000 participants into the same experiment.”

Even after these technical issues are overcome, a virtual twin won’t necessarily allow “feeling” into the metaverse, warns Nicolas Puyo, co-director of research at Montreal’s Association of Technological Arts, an art lab that has been researching these concepts for 25 years. “You can recreate a three-dimensional world at the edge of a lake that is completely realistic, but for a person to feel that they are there, they must feel a slight breeze on their cheek,” explains-Hu.

“We’ve seen artists who put together simple fans to create this sense of immersion… and it works.”

track feelings

Mark Zuckerberg says that tracking facial features, mouth movements and gaze direction would be the next “big step” for sensing presence in the metaverse. And this “evolution” will happen thanks to the proliferation of sensors built into virtual reality headsets.

In his October presentation, the Meta chief spoke vaguely about “Project Cambria,” a tool that will be added to his brand of Oculus VR headsets, in order to make it possible to create “natural eye contact and recreate real-time facial expressions.” On Horizon World avatars.

“This means we will be integrating more sensors,” Meta said on this call.

Beautiful promise. But the proliferation of these behavioral trackers opens the door to developing tools to recognize emotions and attention for purposes of targeted advertising, and privacy advocates fear.

“Silicon Valley brings us this technological promise that takes us further in the logic of big data collection,” says Thierry Bardini, who has been studying electronic culture for more than 25 years in the Department of Communications at the University of Montreal.

“I say this without sarcasm, social networks have created a business model that is surveillance capitalism. The Metaverse will be no different than what we’ve seen before.”

Touch, the final frontier


Image provided by Reality LABS (META)

touch glove

Small independent video game companies have been trying for years to commercialize haptic feedback jackets, designed to induce an increased sense of presence in 3D universes. They are usually equipped with several small vibrators that are activated to make movement perceptible, such as enemy fire, explosions or engine vibration. These tools remain a niche product and game creators are reluctant to program their scripts. With the development of virtual reality, a lot of effort is also being put into creating gloves with haptic feedback, which makes it possible to feel the manipulation of objects. Currently, you have to run between $5,000 and $10,000 to get the best products, which are often dedicated to scientific research.

Leave a Reply

Your email address will not be published.