基于动态双层在线适应的域外人体网格重建

我们研究了一个新的问题，即将人体网格重建模型适应于域外流媒体视频，在这些视频中，现有的基于SMPL的模型性能会因不同的摄像机参数、骨骼长度、背景和遮挡所引起的分布偏移而显著受到影响。为了解决这一问题，我们通过在线适应方法，在测试过程中逐步纠正模型偏差。主要面临两个挑战：首先，缺乏3D注释增加了训练难度并导致3D模糊性；其次，非平稳的数据分布使得在拟合普通帧和具有严重遮挡或剧烈变化的困难样本之间难以找到平衡。为此，我们提出了动态双层在线适应算法（DynaBOA）。该算法首先引入时间约束以补偿缺失的3D注释，并利用双层优化过程解决多目标之间的冲突。尽管存在分布偏移，DynaBOA通过高效检索相似的源示例进行联合训练，提供了额外的3D指导。此外，它能够自适应地调整每个帧上的优化步数，以充分拟合困难样本并避免对普通帧的过拟合。DynaBOA在三个域外人体网格重建基准测试中取得了最先进的结果。