布朗大学计算机科学家研发出一种名为 PackUV 的新视频处理技术，为 3D 体素视频的流媒体传输扫清了障碍。体素视频允许用户从任意角度观看三维场景，记录的是包含四维（三维空间加时间）的信息。然而，该技术长期面临存储数据量巨大且与现有网络基础设施不兼容的难题，例如三十分钟的视频可能产生数太字节的数据。 研究团队由计算机科学研究生 Aashish Rai 领导，在助理教授 Srinath Sridhar 的指导下，基于现有的 3D 散点渲染技术（3D Gaussian splatting）进行了创新。该方法将复杂的 3D 场景及其数百万个高斯点映射为紧凑的二维图像，类似于将地球仪投影到平面上。这种“结构化、多尺度”的图像编码方式，使得视频文件体积大幅减小，并能兼容 Netflix、YouTube 等主流平台使用的传统视频编码格式，从而实现了体素视频的流畅流媒体传输和存储。 此外，针对传统技术在处理长视频时容易丢失短暂遮挡物体或无法识别新移动对象的问题，新算法采用将长视频分割为小片段并频繁重置追踪机制的策略。这一改进显著提升了系统对复杂动态场景的处理能力，能够稳定渲染长达三十分钟的序列，而无需像以往那样出现渲染崩溃。 为了验证技术效果，研究人员构建了包含 50 至 90 台同步相机采集数据的最大规模多视角视频数据集，涵盖了从运动竞技到日常劳作的多种场景。该数据集已完全开源，旨在推动体素视频技术在娱乐、体育转播、智能制造及构建现实世界数字孪生等领域的广泛应用。这项研究成果将于六月在计算机视觉和模式识别国际会议上发布。