2 个月前

使用单目事件相机进行密集体素3D重建

Haodong Chen; Vera Chung; Li Tan; Xiaoming Chen
使用单目事件相机进行密集体素3D重建
摘要

事件相机是一种受生物系统启发的传感器,专门用于捕捉亮度变化。这些新兴的相机相比传统的基于帧的相机具有许多优势,包括高动态范围、高帧率和极低的功耗。由于这些优势,事件相机在多个领域得到了越来越广泛的应用,如帧插值、语义分割、测程和同时定位与建图(SLAM)。然而,它们在虚拟现实应用中的三维重建领域的应用尚待深入探索。此前该领域的研究方法主要集中在通过深度图估计实现三维重建。通常情况下,生成密集三维重建的方法需要多台相机,而利用单个事件相机的方法只能产生半密集的结果。其他能够生成密集三维重建的单相机方法则依赖于构建一个管道,该管道要么结合上述方法,要么采用现有的运动结构(Structure from Motion, SfM)或多视图立体视觉(Multi-view Stereo, MVS)方法。本文中,我们提出了一种仅使用单个事件相机解决密集三维重建的新方法。据我们所知,这是首次尝试在此方向上进行研究。初步结果表明,所提出的方法可以直接生成视觉上可区分的密集三维重建结果,而无需像现有方法那样依赖复杂的管道流程。此外,我们还使用事件相机模拟器创建了一个包含39,739个物体扫描的合成数据集。该数据集将有助于加速这一领域的其他相关研究。

使用单目事件相机进行密集体素3D重建 | 最新论文 | HyperAI超神经