9 天前
HyperReel:基于光线条件采样的高保真6-DoF视频
Benjamin Attal, Jia-Bin Huang, Christian Richardt, Michael Zollhoefer, Johannes Kopf, Matthew O', Toole, Changil Kim

摘要
体素场景表示技术能够实现静态场景的逼真视图合成,并构成了多种现有六自由度(6-DoF)视频技术的基础。然而,驱动这些表示的体素渲染过程在图像质量、渲染速度和内存效率之间需进行精细权衡。特别是,现有方法难以在复杂真实场景中同时实现实时性能、小内存占用与高质量渲染。为解决上述问题,我们提出了一种新型的6-DoF视频表示方法——HyperReel。HyperReel的两个核心组件为:(1)一种基于光线条件的采样预测网络,可实现高保真度、高帧率的高分辨率渲染;(2)一种紧凑且内存高效的动态体素表示。与以往及当前主流方法相比,我们的6-DoF视频处理管道在保持极小内存开销的同时,实现了最优的视觉质量,并可在无需任何自定义CUDA代码的情况下,以每秒高达18帧的速度实现百万像素级分辨率的实时渲染。