2 个月前

动物王国:一个大型且多样的动物行为理解数据集

Ng, Xun Long ; Ong, Kian Eng ; Zheng, Qichen ; Ni, Yun ; Yeo, Si Yong ; Liu, Jun
动物王国:一个大型且多样的动物行为理解数据集
摘要

理解动物行为对于广泛的应用具有重要意义。然而,现有的动物行为数据集在多个方面存在局限性,包括动物种类、数据样本和所提供任务的数量有限,以及环境条件和视角的变化有限。为了解决这些局限性,我们创建了一个大型且多样化的数据集——“动物王国”(Animal Kingdom),该数据集提供了多种注释任务,以促进对自然动物行为的更深入理解。我们的数据集中使用的野生动物视频记录了不同时间段的广泛环境,背景、视角、光照和天气条件各不相同。具体而言,我们的数据集包含50小时的注释视频,用于在长视频中定位相关的动物行为片段以完成视频定位任务;3万个视频序列,用于细粒度多标签动作识别任务;以及3.3万帧图像,用于姿态估计任务。这些视频和图像涵盖了6大类共850种不同的动物。这样一个具有挑战性和全面性的数据集将有助于推动社区开发、适应和评估各种先进的动物行为分析方法。此外,我们提出了一种协作动作识别(Collaborative Action Recognition, CARe)模型,该模型能够学习一般性和特定性的特征以识别未见过的新动物的动作。实验结果表明该方法具有良好的性能。“动物王国”数据集可访问 https://sutdcv.github.io/Animal-Kingdom 获取。

动物王国:一个大型且多样的动物行为理解数据集 | 最新论文 | HyperAI超神经