多体跟踪框架——从刚性物体到运动结构

运动结构在现实世界中非常普遍，从简单的关节物体到复杂的机械系统都有所涉及。然而，尽管这些结构具有重要意义，大多数基于模型的3D跟踪方法仍然仅考虑刚体对象。为了解决这一局限性，我们提出了一种灵活的框架，该框架允许将现有的6自由度（6DoF）算法扩展到运动结构。我们的方法主要关注那些采用牛顿类优化技术的对象跟踪方法，这些技术在对象跟踪中被广泛应用。该框架既适用于树状运动结构，也适用于闭合运动结构，并且允许对关节和约束进行灵活配置。为了将单个刚体的方程投影到多体系统中，我们使用了雅可比矩阵（Jacobians）。对于闭合运动链，我们开发了一种新的公式，该公式引入了拉格朗日乘子（Lagrange multipliers）。通过详细的数学证明，我们展示了我们的约束公式能够导出精确的运动解，并且在一次迭代中即可收敛。基于所提出的框架，我们将ICG算法（一种先进的刚体对象跟踪算法）扩展到了多体跟踪。为了评估性能，我们创建了一个高度逼真的合成数据集，其中包含大量序列和各种机器人。基于该数据集，我们进行了多种实验，结果表明所开发的框架和我们的多体跟踪器具有出色的性能。