HyperAIHyperAI

Command Palette

Search for a command to run...

单目实时全身捕捉方法及其部件间相关性建模

Yuxiao Zhou Marc Habermann Ikhsanul Habibie Ayush Tewari Christian Theobalt Feng Xu

摘要

我们提出了一种首个实现实时全身捕捉的方法,能够仅从单张彩色图像中同时估计人体、双手以及动态3D面部的形状与运动。该方法采用一种新型神经网络架构,高效利用了人体与手部之间的相关性,在保持高计算效率的同时实现精确建模。与以往工作不同,我们的方法在多个独立数据集上进行联合训练,这些数据集分别聚焦于手部、人体或面部,无需依赖同时标注所有身体部位的数据——这类数据的采集在多样性上极为困难。多数据集联合训练的可行性显著提升了模型的泛化能力。相较于早期基于单目图像的全身捕捉方法,我们的方法通过估计统计面部模型的形状、表情、反照率(albedo)和光照参数,能够重建更具表现力的3D面部几何结构与色彩信息。在公开基准测试中,本方法取得了具有竞争力的精度表现,同时显著提升了运行速度,并实现了更为完整的面部重建结果。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
单目实时全身捕捉方法及其部件间相关性建模 | 论文 | HyperAI超神经