11 天前

基于DeepLabCut的多动物姿态估计、识别与追踪

{Mackenzie Weygandt Mathis & Alexander Mathis, Catherine Dulac, George Lauder, Venkatesh N. Murthy, Guoping Feng, Daniel Soberanes, Valentina Di Santo, Mohammed Mostafizur Rahman, Tanmay Nath, Steffen Schneider, William Menegas, Shaokai Ye, Mu Zhou, Jessy Lauer}

查看论文详情 View Code

摘要

估计多个动物的姿态是计算机视觉领域的一项具有挑战性的问题：频繁的交互导致遮挡现象严重，增加了将检测到的关键点正确关联到对应个体的难度，且这些动物外观高度相似，彼此之间的互动程度远高于典型的多人场景。为应对这一挑战，我们基于开源姿态估计工具DeepLabCut，构建了高性能的多动物姿态整合与跟踪功能，以满足多动物场景的需求。此外，我们还引入了预测动物身份的能力，以在发生遮挡时辅助跟踪。我们通过四个不同复杂度的数据集展示了该框架的强大性能，并将这些数据集公开发布，旨在为未来算法的发展提供基准参考。