4DSloMo：异步捕捉下的高速场景四维重建

从多视角视频中重建快速动态场景对于高速运动分析和逼真的4D重建至关重要。然而，大多数4D捕获系统仅限于每秒30帧（FPS）以下的帧率，直接从低FPS输入进行高速运动的4D重建可能会导致不良结果。在本研究中，我们提出了一种仅使用低FPS相机的高速4D捕获系统，通过创新的捕获和处理模块实现这一目标。在捕获方面，我们提出了一种异步捕获方案，通过错开各相机的启动时间来提高有效帧率。通过分组相机并利用25 FPS的基本帧率，我们的方法能够在不使用专用高速相机的情况下达到相当于100-200 FPS的帧率。在处理方面，我们还提出了一种新的生成模型来修复因4D稀疏视图重建而产生的伪影，因为异步性减少了每个时间戳下的视点数量。具体而言，我们建议训练一种基于视频扩散的伪影修复模型用于稀疏4D重建，该模型可以细化缺失细节、保持时间一致性并提高整体重建质量。实验结果表明，与同步捕获相比，我们的方法显著提升了高速4D重建的效果。