HyperReel : Vidéo 6-DoF à haute fidélité avec échantillonnage conditionné par rayons

Les représentations volumétriques de scènes permettent la synthèse photoréaliste de vues pour des scènes statiques et constituent la base de plusieurs techniques vidéo à 6 degrés de liberté (6-DoF). Toutefois, les procédés de rendu volumétrique qui pilotent ces représentations exigent des compromis soigneusement équilibrés entre qualité, vitesse de rendu et efficacité mémoire. En particulier, les méthodes existantes échouent à atteindre simultanément des performances en temps réel, une empreinte mémoire réduite et un rendu de haute qualité pour des scènes réalistes complexes. Pour répondre à ces défis, nous présentons HyperReel — une nouvelle représentation vidéo à 6-DoF. Les deux composants centraux d’HyperReel sont : (1) un réseau de prédiction d’échantillons conditionné par les rayons, permettant un rendu haute fidélité et à haut taux d’images à des résolutions élevées, et (2) une représentation dynamique volumétrique compacte et efficace en mémoire. Notre pipeline vidéo à 6-DoF atteint les meilleurs résultats par rapport aux approches antérieures et contemporaines en termes de qualité visuelle, tout en nécessitant une faible consommation mémoire, tout en rendant à jusqu’à 18 images par seconde à une résolution de mégapixels, sans aucune code CUDA personnalisé.