Présentation de la première démo de réalité mixte photoréaliste au monde par Varjo et Volvo.

Découvrez les coulisses d'un ambitieux projet automobile réalisé avec Unity par Varjo, le fabricant de casques VR/XR industriels réputés pour leur qualité visuelle supérieure dans la VR.

L'équipe de Varjo est à l'origine de certains des projets les plus innovants dans le monde de la réalité mixte. Ils ont déjà partagé avec nous un environnement basé sur la photogrammétrie qu'ils ont créé en VR, et aujourd'hui ils partageront comment, avec Unity et Volvo, ils ont innové sur une démo qui réunit les mondes réel et virtuel comme jamais auparavant.

Découvrez ce projet en personne à Unite Copenhagen. Volvo et Varjo seront sur place pour présenter cette expérience, et interviendront dans plusieurs sessions :

• Comment Volvo a adopté la 3D en temps réel et bouleversé l'industrie automobile
• Créer des expériences VR et MR de nouvelle génération avec Varjo VR-1 et XR-1
• Mobilité future, voitures intelligentes et conduite autonome : Préparation d'une nouvelle ère chez Volvo

Le contenu ci-dessous est une gracieuseté de Varjo.

La réalité mixte consiste à mélanger le contenu virtuel avec le monde réel. Jusqu'à présent, la réalité mixte a été réalisée avec des lunettes optiques, où l'utilisateur voit des objets numériques augmentés sur la réalité à travers une paire de lunettes. C'est très bien pour représenter des infographies ou des jeux, mais pour des scènes réalistes, cela n'a que peu d'intérêt. Les dispositifs optiques transparents ne peuvent pas afficher un contenu noir ou opaque au-dessus du monde réel. Tout semble flou et holographique.

Chez Varjo, nous voulions nous débarrasser de cette limitation et être en mesure de rendre un contenu photoréaliste et opaque - où il est impossible de faire la distinction entre ce qui est réel et ce qui est virtuel. Notre mission était de rendre possible la réalité mixte photoréaliste grâce au passage vidéo. Le passage vidéo consiste à utiliser des caméras pour numériser le monde en temps réel, puis à montrer à l'utilisateur le résultat combiné du réel et du virtuel.

Avant d'y parvenir, il nous fallait d'abord un casque VR capable d'afficher le monde réel avec une résolution digne de l'œil humain. C'est pourquoi nous avons mis sur le marché en février 2019 notre premier produit de résolution de l'œil humain VR-1, destiné aux utilisateurs professionnels.

Et lors de l'Augmented World Expo 2019 à Santa Clara, nous avons montré un aperçu de la magie qui peut être accomplie avec le passage vidéo. Nous avons présenté publiquement notre nouveau casque XR-1 Developer Edition pour la première fois avec une démo commune avec Volvo, réalisée avec Unity. Avec XR-1, vous pouvez mélanger le contenu virtuel à la réalité de manière transparente avec une latence extrêmement faible et un suivi oculaire intégré, dans une résolution supérieure.

Voici comment a été créée la première démo de réalité mixte photoréaliste au monde.

Cette vidéo est un matériel non modifié tourné avec le Varjo XR-1 Developer Edition. Avec XR-1, vous pouvez voir un contenu virtuel photoréaliste se fondre dans la réalité dans un champ de vision complet. Vous pouvez également passer de manière transparente de l'XR à la VR complète.

Varjo a commencé à travailler sur un casque de réalité mixte à passage vidéo au début de l'année 2018. La collaboration entre Varjo et Volvo a également débuté au printemps 2018, Volvo ayant exposé le besoin d'un casque XR qui leur permettrait de tester divers éléments des futures voitures - tels que les affichages tête haute, les nouveaux matériaux et l'interface utilisateur des systèmes d'infodivertissement - à l'intérieur d'une vraie voiture tout en conduisant sur une vraie piste d'essai. Les exigences élevées en matière de lisibilité et de faible latence nécessaires pour conduire une voiture sur une piste d'essai ont poussé Varjo à réussir dans le développement de produits.

Étant donné qu'Unity fonctionnait déjà très bien pour le VR-1, c'était un choix naturel pour tester la façon dont les objets virtuels apparaîtraient en réalité mixte. Le fait qu'Unity soit facile à intégrer et à étendre avec des bibliothèques C++, comme notre propre plug-in Varjo, nous a permis d'étendre notre plug-in pour prendre en charge la réalité mixte. En définissant simplement l'arrière-plan vide d'une scène VR à remplacer par le signal de passage vidéo, nous avons rapidement pu voir des objets virtuels dans un environnement réel.

L'étroite collaboration et les itérations rapides ont été rendues possibles par la facilité d'utilisation d'Unity, car notre équipe développait et améliorait le passage simultanément tout en travaillant main dans la main avec notre client. Un an plus tard, la première démonstration publique de XR-1 a donné vie aux capacités de notre technologie, combinée aux modèles supérieurs de Volvo et aux graphiques photoréalistes d'Unity.

La démo illustre la puissance de la réalité mixte avec passage vidéo, par opposition au passage optique. Dans cette démo, les étapes sont les suivantes :

1. Faire l'expérience de la réalité

Vous voyez le monde réel qui vous entoure à travers le casque XR-1. Le monde réel est diffusé avec une latence de moins de 10 ms par les caméras haute résolution de la plaque frontale. Vous voyez le monde dans un champ de vision complet et à une haute résolution avec un taux de rafraîchissement de 90 Hz, ce qui donne la sensation de ne pas porter de casque du tout (c'est-à-dire de voir le monde réel avec vos propres yeux). Vous pouvez vous promener et explorer le monde réel en toute liberté.

2. Entrez dans la réalité mixte photoréaliste

Une magnifique Volvo XC60 se dresse devant vous. Il apparaît d'abord sous la forme d'un fil de fer stylisé bleu transparent. La voiture virtuelle est ancrée au sol réel de la pièce qui vous entoure et orientée de manière à ce que la chaise de la cabine soit alignée avec le siège du conducteur de la voiture virtuelle. Le spectateur peut s'asseoir sur la chaise réelle et reste capable de voir l'environnement réel à travers l'image filaire.

La voiture se transforme alors en un modèle solide, et les surfaces passent de transparentes à opaques. La voiture virtuelle projette des ombres sur le sol du monde réel, et en regardant la surface de la voiture, il est possible de voir que le monde réel se reflète dans les surfaces de la voiture. Les reflets proviennent d'une carte cubique HDR qui a été prise lors de l'installation à l'endroit exact de la voiture. La même carte cubique est également utilisée pour l'éclairage ambiant.

C'est la première fois que le spectateur voit une réalité mixte opaque, et l'effet est stupéfiant. Vous pouvez toujours voir le monde réel et vos collègues à travers les pare-brise.

Comment cela a été réalisé : Le modèle de voiture a été fourni à Varjo par Volvo. La résolution du casque et de la voiture étant très élevée, nous avons dû effectuer un maximum de prétraitement. L'éclairage a été intégré aux textures dans le DCC et multiplié dans des shaders personnalisés. Les textures cuites ne traitent que de l'occlusion et l'ombrage est toujours affecté par la boîte à ciel.

Mattias Wilkenmalm, de Volvo, s'est chargé de la création des ressources et a écrit des shaders de peinture automobile personnalisés qui ont donné des résultats de qualité supérieure. Nous les avons simplement modifiés pour obtenir l'aspect et les transitions dont nous avions besoin. Le modèle final compte environ 7 millions de polygones et 150 textures 4K.

3. Passez en toute transparence à la réalité virtuelle - et inversement.

Le spectateur est ensuite invité à sortir de la voiture et nous passons à Venise. Les derniers éléments du monde réel qui entourent le spectateur disparaissent dans une transition unique, la réalité se transformant en une scène virtuelle de Venise, où la voiture est garée dans l'une des ruelles. Les reflets de la voiture sont maintenant ceux de Venise, et les ombres de la voiture atterrissent maintenant dans les rues de Venise.

Après un certain temps, nous passons du monde virtuel au monde réel. L'utilisateur peut maintenant faire le tour de la voiture virtuelle et voir tous les détails et les reflets. Cela montre que le XR-1 offre la possibilité de continuer à interagir avec les autres et de ne sélectionner que les parties que l'on souhaite virtualiser.

Comment cela a été réalisé : Pour rendre les transitions visuellement agréables, Timotei Ghiurau, responsable des expériences virtuelles et de la recherche XR chez Volvo, a utilisé du bruit 3D dans l'espace mondial avec des découpes alpha pour faire entrer la voiture et l'environnement. C'est rapide à faire dans le fragment et c'est très joli. C'était une combinaison parfaite pour faire face à des délais serrés. Les fonctions de bruit peuvent être récupérées dans le dépôt de Keijiro de Unity.

Pour obtenir une transition fluide pour les reflets de la voiture, l'environnement de Venise a été ajouté à une couche séparée afin que la sonde de réflexion en temps réel ne rende que la quantité minimale de géométrie. La sonde de réflexion a été rendue à 30 images par seconde, tandis que la scène est rendue à une fréquence d'images beaucoup plus élevée. Le fait que la transition soit visible dans la sonde de réflexion a renforcé l'immersion dans la scène.

Le fait que le XR-1 soit le premier casque du genre à offrir la possibilité de passer en toute transparence de la réalité réelle à la réalité mixte, puis à la VR complète et enfin à la réalité, rend la démo très impressionnante. C'est un moment digne de la Matrice que de voir la réalité environnante disparaître et être remplacée par une scène virtuelle - puis de voyager à nouveau.

---

Nous remercions Varjo d'avoir partagé cet article avec nous. Rejoignez-nous à Unite Copenhagen pour découvrir Varjo VR-1 et XR-1 Developer Edition. Commencez dès aujourd'hui à développer des applications XR avec Unity Industry Collection.