摘要
从RGB图像进行3D手部网格重建在增强现实（AR）等众多应用中具有重要意义。然而，该任务不仅需要实现实时性能、精确的手部姿态与形状估计，还需实现合理的网格与图像之间的对齐。尽管现有方法已取得令人瞩目的进展，但同时满足上述三项要求仍极具挑战性。本文提出了一种新颖的分阶段重建流程，将手部网格重建任务解耦为三个阶段：第一阶段为关节预测与分割阶段，用于估计手部关键点与手部区域；第二阶段为网格生成阶段，用于预测粗略的手部网格；第三阶段为精修阶段，通过引入偏移网格（offset mesh）对初始网格进行精细化调整，以实现更精确的网格-图像对齐。通过在网络结构设计与损失函数构建方面的精心优化，本文方法能够实现高质量的指尖级别网格-图像对齐，并有效推动模型实现实时推理。在多个基准数据集上的大量定量与定性实验结果表明，本方法在手部网格/姿态精度以及手部网格与图像对齐方面均优于当前最先进的技术。最后，本文还展示了多个实时增强现实应用场景，验证了所提方法的实际可用性与优越性能。