Modèles pré-entraînés SuperAnimal pour l'estimation de la posture en analyse comportementale
La quantification du comportement est cruciale dans des applications allant de la neurosciences à la médecine vétérinaire et aux efforts de conservation animale. Une étape clé commune pour l'analyse du comportement consiste d'abord à extraire les points clés pertinents sur les animaux, connue sous le nom d'estimation de la posture. Cependant, une inférence fiable des postures nécessite actuellement des connaissances spécifiques au domaine et des efforts de marquage manuel pour construire des modèles supervisés. Nous présentons une série d'innovations techniques qui permettent une nouvelle méthode, appelée SuperAnimal, capable de développer des modèles fondamentaux unifiés pouvant être utilisés sur plus de 45 espèces sans étiquettes humaines supplémentaires. Plus précisément, nous introduisons une méthode pour unifier l'espace des points clés à travers des jeux de données étiquetés différemment (via notre convertisseur de données généralisé) et pour former ces jeux de données diversifiés de manière à ce qu'ils n'oublient pas catastrophiquement les points clés en présence d'entrées déséquilibrées (via nos approches de masquage du gradient des points clés et de répétition mémorielle). Ces modèles montrent d'excellentes performances sur six benchmarks d'estimation de la posture. Ensuite, pour garantir une utilisation maximale par les utilisateurs finaux, nous démontrons comment affiner les modèles sur des données étiquetées différemment et fournissons des outils pour l'adaptation vidéo non supervisée afin d'améliorer les performances et de réduire le flottement entre les images. Si les modèles sont affinés, nous montrons que les modèles SuperAnimal sont 10 à 100 fois plus efficaces en termes de données que les approches précédentes basées sur le transfert d'apprentissage. Nous illustrons l'utilité de nos modèles dans la classification du comportement chez les souris et l'analyse du déplacement chez les chevaux. Collectivement, cela présente une solution efficace en termes de données pour l'estimation de la posture animale.