2 个月前
Animal3D：一个全面的3D动物姿态和形状数据集
Xu, Jiacong ; Zhang, Yi ; Peng, Jiawei ; Ma, Wufei ; Jesslen, Artur ; Ji, Pengliang ; Hu, Qixin ; Zhang, Jiehua ; Liu, Qihao ; Wang, Jiahao ; Ji, Wei ; Wang, Chen ; Yuan, Xiaoding ; Kaushik, Prakhar ; Zhang, Guofeng ; Liu, Jie ; Xie, Yushan ; Cui, Yawen ; Yuille, Alan ; Kortylewski, Adam
摘要
准确估计动物的三维姿态和形状是理解动物行为的关键步骤，有望为许多下游应用（如野生动物保护）带来益处。然而，由于缺乏包含高质量三维姿态和形状注释的全面且多样化的数据集，该领域的研究进展受到了限制。在本文中，我们提出了Animal3D，这是首个用于哺乳动物三维姿态和形状估计的综合性数据集。Animal3D 包含从40种哺乳动物中收集的3379张图像，提供了26个关键点的高质量注释，以及重要的SMAL模型的姿态和形状参数。所有注释均通过多阶段手动标注和检查以确保最高质量的结果。基于Animal3D数据集，我们对代表性形状和姿态估计模型进行了基准测试，具体包括：(1) 仅使用Animal3D数据进行监督学习；(2) 从合成图像到真实图像的迁移学习；(3) 对人体姿态和形状估计模型进行微调。实验结果表明，尽管在人体姿态估计方面取得了显著进展，但跨物种预测动物的三维形状和姿态仍然是一个极具挑战性的任务。此外，我们的结果还证明了合成预训练是一种有效的策略，可以提升模型性能。总体而言，Animal3D为未来在动物三维姿态和形状估计领域的研究开辟了新的方向，并已公开发布。