Command Palette
Search for a command to run...
WiLoR:野外环境下端到端的3D手部定位与重建
WiLoR:野外环境下端到端的3D手部定位与重建
Potamias Rolandos Alexandros Zhang Jinglei Deng Jiankang Zafeiriou Stefanos
摘要
近年来,由于在人机交互、虚拟现实和机器人技术等领域的广泛应用,三维手部姿态估计方法受到了广泛关注。相比之下,手部检测流程仍存在显著短板,给构建高效实用的现实场景多手重建系统带来了巨大挑战。本文提出了一种数据驱动的高效野外多手重建流水线。该流水线由两个核心组件构成:一个实时的全卷积手部定位模块,以及一个基于Transformer的高保真三维手部重建模型。为克服以往方法的局限性并构建鲁棒稳定的检测网络,我们构建了一个大规模数据集,包含超过200万张野外场景下的手部图像,涵盖多样化的光照、照明条件及遮挡情况。实验结果表明,所提方法在主流二维与三维基准测试中均在效率和精度方面优于现有方法。最后,我们展示了该流水线在单目视频上实现流畅三维手部追踪的性能,且无需依赖任何时序建模组件。相关代码、模型及数据集已公开,详见:https://rolpotamias.github.io/WiLoR。