Smart Rendering de Réalité Virtuelle

Réalité Virtuelle pour les consommateurs est de plus en plus commun. Il ya maintenant plusieurs solutions mobiles qui transforment votre smartphone dans un dispositif de réalité virtuelle, en ajoutant un cas avec les objectifs grand-angle qui lui sont attachés. Il ya aussi des appareils dédiés à votre PC avec le suivi de position supplémentaires, donc vous pouvez regarder autour de coins en déplaçant votre tête. Ces appareils offrent une expérience très immersive. Cependant, les pixels individuels de l'écran peuvent encore être remarqué. Selon le chercheur Michael Abrash, la résolution de l'écran doit aller jusqu'à au moins 8Kx8K . Cela signifie que 64 millions de pixels doivent être rendus, par rapport aux 4 millions de pixels que nous avons dans les meilleurs consommateurs head-mounted affiche d'aujourd'hui (de HMDS).

Obtenir la performance à la rendent 16 fois plus de pixels ne sera pas simple. Pour ce faire, nous ferions mieux de commencer à chercher dans des façons plus intelligentes de rendu. A partir de maintenant, nous traitons l'image rendue pour un moniteur presque le même comme une image rendue de Réalité Virtuelle. Mais à l'intérieur d'un HMD il ya différentes choses qui se passent, que nous ne devrions pas ignorer. Nous avons parlé précédemment sur les distorsions radiales et l'aberration chromatique qui sont causées par les lentilles de la HMD et la façon de traiter ceux qui d'une manière plus avancée sans sacrifier la netteté. Mais quand vous regardez à travers un HMD il ya d'autres distorsions ainsi, qui ne ont pas été pris en considération lors du processus de rendu jusqu'ici. Voyons comment l'image que vous voyez ressemble à:

Astigmatisme dans HMD

En raison de la distorsion astigmatisme , seul le centre de l'image peut être perçu très forte, tout en se éloignant de lui, il devient de plus en plus floue. Idéalement, nous aimerions pour minimiser cet effet, mais cela ne pourrait se faire en ajoutant plusieurs lentilles , qui est contre-productif à l'idée d'avoir un HMD pas cher et léger. Par conséquent, dans la pratique, presque tous les visiocasques grand angle nouveau consommateur suffit d'utiliser une lentille.

Comme la zone centrale peut être vu mieux et les zones périphériques deviennent floues, pourquoi devrions-nous dépenser toujours la même performance et la qualité de chaque pixel?

Nous changeons ce comportement en introduisant le concept de cartes d'échantillonnage dans notre moteur de rendu ray traçage de recherche (en utilisant Intel Embree interne).

Plans d'échantillonnage: avec et sans interpolation.

La carte d'échantillonnage décrit pour chaque pixel combien supersampling (anti-aliasing) doit être calculée au maximum. Blanc au centre signifie que le maximum (par exemple, quatre rayons primaires par pixel) sont souhaitées. Dans les zones extérieures on diminue de façon continue à une rayon par pixel. Pour obtenir une transition en douceur, nous interpolons la carte d'échantillonnage. Voyons comment cela influence les performances sur notre système de test *.

Pour la suite, nous supposons un maximum de 4x supersampling (4 rayons primaires par pixel). Si nous rendons l'image complète (sans les bordures noires qui viennent de gauchissement de l'image contre les distorsions radiales), nous atteignons 14 images par seconde (fps). Si nous sautons rendre les zones avec des bordures noires, on obtient 16 fps. Utilisation des cartes d'échantillonnage, de sorte que dans le centre quatre rayons par pixel sont utilisés et moins de rayons dans les zones extérieures, nous doublent la performance à 32 fps.

Ensuite, nous avons fait une étude de l'utilisateur pour savoir comment une grande partie des utilisateurs d'image peut voir l'intérieur de la HMD. Plus de détails seront dans notre publication complète.

Zone visible maximale

L'image ci-dessus a marqué le rayon visible maximale que les utilisateurs ont pu voir dans le Oculus Rift DK1. Pour les utilisateurs de lentilles A (pas de correction de la vision clairvoyante de), il est un domaine que personne ne était en mesure de voir. Pour l'objectif C (très courte), ce est encore plus dramatique, que le champ de vision descend lors de l'utilisation que la correction de vision et plus de pixels sont devenir inutiles au spectateur. Nous avons analysé ce qui se passe, si nous prenons le rayon maximal pour les utilisateurs de lentilles C, où 90% des utilisateurs ne serait pas voir plus de contenu. Les 10% restants pourrait modifier le rayon dans une étape de calibrage spécifique à l'utilisateur.

Optimisation pour les utilisateurs lentille C stimule la performance de 32 à 46 fps.

Une autre optimisation qui nous avons travaillé sur était un système de rendu hybride qui utilise inférieure rastérisation de la qualité (accélération GPU) dans les zones extérieures et supérieur ray de qualité traçage (en utilisant un modèle appareil d'échantillonnage déformé pour une netteté maximale) dans la zone intérieure, forte.

Rendu hybride: Utilisation inférieure rastérisation de qualité dans les zones extérieures et supérieur ray de qualité retraçant l'intérieur (zone rouge)

Côté performance, cette technique fonctionne à 54 images par seconde dans notre configuration de test.

Pour être complet, nous examinons aussi les valeurs si aucun supersampling est activé, ce qui signifie que nous tirons toujours un rayon par pixel (dans la zone de tracé de rayons). Cela dans l'approche de rendu hybride conduit à 116 fps.

Beaucoup des approches mentionnées ici ne sont viables que si une mesure existe-rendu, qui peut être modifié pour permettre un tel échantillonnage individuel de la scène. Mais certaines de ces idées peuvent être directement adapté à l'accélération matérielle des pipelines de rendu d'aujourd'hui en utilisant DirectX ou OpenGL. Par exemple, lorsque la déformation de l'image dans un shader de post-traitement pour compenser les distorsions radiales, la zone intérieure supérieure pourrait utiliser filtrage bicubique , la zone extérieure du filtrage bilinéaire standard. Autres effets de post-traitement en plein écran comme la profondeur de champ (DOF) pourraient utiliser un meilleur noyau dans la zone intérieure, et une version plus rapide dans la zone extérieure, qui ne est pas perçu forte.

Plus de détails seront disponibles à la fin de Mars 2015, notre présentation de «Utilisation astigmatisme dans HMD Grand Angle pour améliorer le rendu", par Daniel Pohl (Intel), Timo Bolkart (Université de la Sarre), Stefan Nickels (Intel de Visual Computing Institute), et Oliver Grau (Intel) au IEEE VR 2015 .

Mise à jour: On nous a demandé ce qui se passe si l'utilisateur déplace les yeux autour de l'intérieur de la HMD. Ceci ne influence pas notre algorithme de rendu comme il est tordu vers l'astigmatisme de la lentille de la HMD. La position de l'œil ne est pas grave pour cela. L'étude de l'utilisateur, qui a mesuré la zone visible maximale, a été fait avec des instructions aux utilisateurs de se déplacer aussi leurs yeux autour.

* Système de test: Rendu à 1280 x 800 (Oculus DK1) dans un traceur de rayons personnalisé sur la double-prise 3,1 GHz Intel Xeon E5-2687W, NVIDIA GeForce GTX 680

Smart Rendering de Réalité Virtuelle

Partager cet article