HyperReel: Hochfidelitäts-6-DoF-Video mit strahlenbedingter Abtastung

Volumetrische Szenendarstellungen ermöglichen die photorealistische Ansichtssynthese statischer Szenen und bilden die Grundlage mehrerer bestehender 6-DoF-Video-Techniken. Die Volumenrendering-Verfahren, die diese Darstellungen antreiben, erfordern jedoch sorgfältige Kompromisse hinsichtlich Qualität, Rendering-Geschwindigkeit und Speichereffizienz. Insbesondere gelingt es bestehenden Methoden nicht, gleichzeitig Echtzeit-Leistung, geringen Speicherverbrauch und hochwertige Darstellung für anspruchsvolle reale Szenen zu erreichen. Um diese Herausforderungen anzugehen, präsentieren wir HyperReel – eine neuartige 6-DoF-Video-Darstellung. Die beiden zentralen Komponenten von HyperReel sind: (1) ein strahlenbedingtes Vorhersage-Netzwerk für Samples, das eine hochauflösende, hochfrequente und hochfidelitätsreiche Darstellung ermöglicht, und (2) eine kompakte und speichereffiziente dynamische Volumendarstellung. Unser 6-DoF-Video-Pipeline erreicht im Vergleich zu vorherigen und aktuellen Ansätzen die beste Leistung hinsichtlich visueller Qualität bei geringem Speicherverbrauch und kann gleichzeitig bis zu 18 Bilder pro Sekunde in Megapixel-Auflösung rendern, ohne auf benutzerdefinierten CUDA-Code zurückgreifen zu müssen.