用于行为分析的SuperAnimal预训练姿态估计模型

行为量化在神经科学、兽医学和动物保护等多个应用领域中至关重要。行为分析的一个常见关键步骤是首先提取动物的相关关键点，这一过程被称为姿态估计。然而，目前可靠的姿态推断仍需要领域知识和人工标注的努力来构建监督模型。本文介绍了一系列技术创新，这些创新共同构成了一个名为SuperAnimal的新方法，该方法能够在无需额外人工标签的情况下，为超过45种物种开发统一的基础模型。具体而言，我们提出了一种方法，通过我们的通用数据转换器（generalized data converter）将不同标注的数据集的关键点空间进行统一，并通过关键点梯度掩码（keypoint gradient masking）和记忆重放（memory replay）技术对这些多样化的数据集进行训练，以防止由于输入不平衡而导致的关键点灾难性遗忘。这些模型在六个姿态基准测试中表现出色。为了确保最终用户的最大可用性，我们展示了如何在不同标注的数据上微调这些模型，并提供了工具以实现无监督视频适应，从而提高性能并减少帧间抖动。如果对模型进行微调，我们发现SuperAnimal模型比以往基于迁移学习的方法在数据效率上提高了10到100倍。我们在小鼠的行为分类和马的步态分析中展示了我们模型的实用性。总体而言，这为动物姿态估计提供了一个高效的数据解决方案。