2 个月前

FOF:基于傅里叶占据场的单目实时人体重建

Feng, Qiao ; Liu, Yebin ; Lai, Yu-Kun ; Yang, Jingyu ; Li, Kun
FOF:基于傅里叶占据场的单目实时人体重建
摘要

深度学习的出现已经推动了单目人体重建领域的显著进展。然而,现有的表示方法,如参数模型、体素网格、网格和隐式神经表示,在同时实现高质量结果和实时速度方面仍面临困难。在本文中,我们提出了一种新的强大、高效且灵活的3D表示方法——傅里叶占据场(Fourier Occupancy Field,简称FOF),用于单目实时和高精度的人体重建。FOF通过一个与视图方向正交的2D场来表示3D对象,在每个2D位置上,该占据场沿视图方向的值被紧凑地表示为傅里叶级数的前几项,从而保留了2D域中的拓扑结构和邻域关系。FOF可以存储为多通道图像,这与2D卷积神经网络兼容,并能弥合3D几何与2D图像之间的差距。FOF非常灵活且可扩展,例如,参数模型可以轻松集成到FOF中作为先验知识,以生成更稳健的结果。基于FOF,我们设计了首个超过30帧每秒(FPS)的高保真实时单目人体重建框架。我们在公共数据集和实际捕获的数据上展示了FOF的潜力。代码将公开发布供研究使用。

FOF:基于傅里叶占据场的单目实时人体重建 | 最新论文 | HyperAI超神经