Royaume Animal : Un Grand et Divers Jeu de Données pour la Compréhension du Comportement Animal
Comprendre le comportement des animaux est d'une importance considérable pour une multitude d'applications. Cependant, les ensembles de données existants sur le comportement animal présentent plusieurs limitations, notamment un nombre limité de classes d'animaux, d'échantillons de données et de tâches fournies, ainsi qu'une variabilité restreinte des conditions environnementales et des points de vue. Pour remédier à ces limitations, nous avons créé un ensemble de données vaste et diversifié, appelé Animal Kingdom, qui offre plusieurs tâches annotées afin de permettre une compréhension plus approfondie des comportements naturels des animaux. Les images filmées d'animaux sauvages utilisées dans notre ensemble de données capturent différentes périodes de la journée dans une gamme étendue d'environnements, avec des variations dans les arrière-plans, les points de vue, l'éclairage et les conditions météorologiques. Plus précisément, notre ensemble de données comprend 50 heures de vidéos annotées pour localiser les segments pertinents du comportement animal dans des vidéos longues pour la tâche d'ancrage vidéo (video grounding), 30 000 séquences vidéo pour la tâche de reconnaissance fine-grainée multi-étiquettes d'actions (fine-grained multi-label action recognition), et 33 000 images pour la tâche d'estimation de posture (pose estimation), couvrant une grande diversité d'animaux avec 850 espèces réparties dans 6 classes principales d'animaux. Un tel ensemble de données complexe et exhaustif devrait faciliter le développement, l'adaptation et l'évaluation de diverses méthodes avancées pour l'analyse du comportement animal au sein de la communauté scientifique. De plus, nous proposons un modèle Collaborative Action Recognition (CARe) qui apprend des caractéristiques générales et spécifiques pour la reconnaissance d'actions avec des animaux inconnus jusqu'alors. Cette méthode obtient des résultats prometteurs dans nos expériences. Notre ensemble de données est disponible à l'adresse suivante : https://sutdcv.github.io/Animal-Kingdom.