L'Institut De Technologie Avancée De Shenzhen De L'académie Chinoise Des Sciences a Proposé Le SBeA, Qui Analyse Le Comportement Social Des Animaux Sur La Base D'un Cadre D'apprentissage À Quelques Coups.
Les oiseaux déploient leurs ailes, les loups se rassemblent autour de leur chef, les pingouins élèvent ensemble leur progéniture... Quel est le sens du comportement social des animaux ? La progression de la reproduction, de la prédation, de la défense et de l’établissement de la hiérarchie sociale révèle-t-elle le processus d’évolution humaine étape par étape ?
L’étude de ces questions, connues sous le nom de comportement social animal, peut aider à éclairer le rôle du fonctionnement du cerveau et des troubles mentaux dans les interactions en quantifiant, identifiant et classant précisément les comportements. Dans le même temps, les modèles de recherche sur le comportement social animal jouent également un rôle important dans l’étude des troubles sociaux humains, qui sont des symptômes très courants de maladies telles que l’autisme, la dépression et le trouble d’anxiété sociale.
Dans le passé, l’étude et la compréhension du comportement social animal ont été limitées par des données insuffisamment annotées. Bien que les techniques d’apprentissage en profondeur telles que DeepLabCut multi-animaux, SLEAP et AlphaTracker fournissent des outils puissants pour l’annotation des données, leur application dans des scénarios expérimentaux est limitée par la disponibilité d’ensembles de données de référence de haute qualité. Les ensembles de données d’estimation de poses multi-animaux existants ne parviennent souvent pas à couvrir la vaste gamme de modèles de test de comportement social. Cela limite l’étendue et la profondeur de la recherche, car les comportements entre espèces ou dans différents environnements peuvent ne pas être pleinement pris en compte.
La recherche sur le comportement animal doit de toute urgence améliorer son efficacité et sa précision grâce à l’innovation technologique. Sur cette base,Le SBeA (Social Behavior Atlas) a été créé et développé par les Instituts de technologie avancée de Shenzhen de l'Académie chinoise des sciences. Il peut quantifier de manière exhaustive le comportement des animaux vivant en liberté, utiliser un petit nombre d'images étiquetées (environ 400 images) pour estimer la posture tridimensionnelle de plusieurs animaux et, grâce à une stratégie d'apprentissage par transfert bidirectionnel, la précision de la reconnaissance d'identité multi-animale dépasse 90%.Les résultats correspondants ont été publiés dans Nature.
Lien vers l'article :
Les deux principales structures de SBeA : le suivi de la posture et la cartographie du comportement
Pour quantifier de manière exhaustive le comportement des animaux vivant en liberté, Les principales tâches de SBeA comprennent le suivi des poses 3D et la cartographie du comportement social.
Suivi de pose 3D : comportement social multi-animaux et reconnaissance d'identité
Le processus de suivi de posture 3D est illustré dans la figure ci-dessus :
Tout d’abord, un réseau de caméras a été utilisé pour capturer une vidéo du comportement social libre des deux souris. Ce processus a été divisé en deux étapes. La première phase s'est concentrée sur la capture des interactions sociales libres entre les souris, tandis que la deuxième phase visait à identifier et à enregistrer l'identité de chaque souris lors de ces interactions, en utilisant des images en damier pour l'étalonnage lors de l'acquisition vidéo.
Ensuite, les contours multi-animaux collectés et les postures d'animaux individuels ont été annotés en détail et introduits dans le réseau neuronal artificiel à plusieurs étapes pour analyse. Les résultats de sortie sont présentés dans la figure d et sont divisés en trois parties :
* Instances vidéo de sortie IA, postures multi-animaux et informations d'identité multi-animaux ;
* Reconstruction 3D des informations vidéo, de pose et d'identité combinées aux paramètres d'étalonnage de la caméra ;
* Affichage visuel de la pose 3D avec informations d'identité.
Cartographie du comportement : représentation en basse dimension du temps et de l'espace
Le processus de cartographie du comportement social est illustré dans la figure ci-dessus :
Décomposition dynamique parallèle : Trajectoires 3D brutes de deux souris, les décomposant en locomotion (mouvement physique tel que marcher, courir, sauter, grimper), mouvement non locomoteur (mouvement qui n'implique pas de changements dans la position de l'ensemble du corps dans l'espace, comme remuer la queue, secouer les oreilles ou changer de posture corporelle) et distance corporelle (distance physique entre deux animaux ou plus).
Afin d'acquérir une compréhension plus approfondie de la distribution des caractéristiques au sein du module de comportement social, les trois caractéristiques de trajectoire extraites sont converties en représentations spatiales et temporelles. Le niveau spatial est capturé par des caractéristiques de distance d'intégration de faible dimension dans SBeA (comme indiqué sur le côté gauche de la figure f), et le niveau temporel est représenté par le graphique de comportement social (comme indiqué sur le côté droit de la figure f).
Formation SBeA : Apprentissage par transfert bidirectionnel et apprentissage non supervisé
Apprentissage par transfert bidirectionnel : identification multi-animaux sans étiquetage
Lors du comportement social libre des animaux, les animaux de la même espèce s'occultent souvent les uns les autres, ce qui entraîne des annotations d'identification manuelle inexactes. Pour relever ce défi, les chercheurs ont proposé d'utiliser l'apprentissage par transfert bidirectionnel dans SBeA (Figure a ci-dessous), c'est-à-dire que le modèle de segmentation multi-animaux formé peut être transféré à des vidéos d'un seul animal, et le modèle d'identification d'un seul animal formé peut également être transféré à l'identification multi-animaux, ce qui réduit considérablement la charge de travail d'étiquetage manuel des identités animales.
Les méthodes de formation utilisant l’apprentissage par transfert bidirectionnel comprennent :
* Réutilisation du modèle de segmentation (Figure b):Utilisez un réseau de caméras pour capturer des flux vidéo d'animaux, utilisez le modèle VisTR (VIS avec transformateurs) entraîné pour segmenter des instances vidéo d'animaux uniques et obtenez des données sous plusieurs angles.
* Formation au modèle d'identification d'un seul animal (Figure c):Recadrez, concaténez et redimensionnez les données, et utilisez EfficientNet comme épine dorsale pour former un modèle de reconnaissance d'identité multi-animaux.
* Segmentation multi-animale et reprojection 3D (Figure d):Reprojetez les masques de chaque vue de caméra, recadrez, concaténez et redimensionnez ces données, puis saisissez-les dans le modèle de reconnaissance d'identité multi-animaux.
* Réutilisation du modèle de reconnaissance d'identité (Figure e):Réutiliser le modèle d'identification d'un seul animal formé dans l'identification de plusieurs animaux.
Ce processus implique un traitement d'image complexe et une conversion de données pour extraire des informations efficaces à partir de différentes perspectives et situations, et finalement prédire les résultats visuels de l'identité et de la posture 3D de l'animal.
Pour évaluer les performances d’identification du SBeA, les chercheurs ont enregistré le comportement social libre des souris mentionnées ci-dessus et ont vérifié manuellement les images reprojetées masquées et les postures 3D image par image. Les résultats ont montré que même si la précision de reconnaissance de certaines souris individuelles était faible, la précision globale d’identification des paires de souris était supérieure à 0,85.
Apprentissage non supervisé : découvrir la structure du comportement social
Dans les applications d’apprentissage non supervisé, les algorithmes ne s’appuient pas sur des données pré-étiquetées ou catégorisées ; au lieu de cela, ils tentent de découvrir des modèles et des relations directement à partir des données.
Dans cette étude, l'apprentissage non supervisé décompose la structure dynamique du comportement en utilisant le noyau d'alignement temporel dynamique (DTAK) et utilise l'addition logique pour fusionner les points temporels décomposés afin de transformer les trajectoires de posture continues en modules de comportement social discrets, comme le montre la figure ci-dessous.
L'ensemble de données PAIR-R24M a été utilisé pour effectuer une validation supervisée de SBeA. Les résultats ont montré queCette étude a quantifié avec succès les performances de clustering du module de comportement social, et SBeA peut classer efficacement les comportements sociaux.
SBeA : Précision + Polyvalence
Précision du SBeA : études comportementales chez des souris déficientes en Shank3B
Pour déterminer si SbeA pouvait détecter des différences dans le comportement social au niveau génétique, les chercheurs ont mené des expériences sur des souris. Les souris dont le gène Shank3B est désactivé présentent des comportements autistiques individuels, mais les limites de la technologie existante rendent difficile la compréhension complète de leur comportement social libre anormal. Grâce à l’analyse SBeA, l’équipe de recherche a découvert qu’il existait des différences significatives dans le comportement social entre les souris knockout Shank3B (KO) et les souris normales (type sauvage, WT).
Il y avait trois groupes de souris expérimentales : KO-KO, WT-WT et WT-KO. Les résultats sont présentés dans la figure ci-dessous. Le groupe WT-WT avait des comportements sociaux plus flexibles, le groupe KO-KO a montré des comportements sociaux plus anormaux que le groupe WT-WT, et le groupe WT-KO a montré des interactions sociales plus étroites que le groupe WT-WT.
Dans le même temps, SBeA a été utilisé pour identifier et distinguer les modules subtils de comportement social entre les souris KO et WT. Grâce à une analyse de groupe, ces modules ont été fusionnés en 9 comportements sociaux majeurs, notamment le fait de se recroqueviller, le comportement exploratoire, le reniflement par les pairs et le toilettage indépendant.
Les comportements sociaux des trois groupes sont les suivants :
Le groupe WT-WT (vert) a montré davantage de comportements d'allo-régulation et d'exploration, reflétant la prosocialité.
Le groupe KO-KO (orange) a montré davantage de comportements sociaux anormaux, une capacité motrice et une nouveauté sociale plus faibles, et ces comportements anormaux peuvent être révélateurs d'un comportement antisocial.
Les comportements sociaux observés dans le groupe WT-KO (violet) étaient principalement le reniflement entre pairs et le toilettage indépendant. Le reniflement des compagnons était plus courant chez les souris WT curieuses, et le toilettage indépendant pourrait être un comportement imitatif des souris KO sur les souris WT.
Ce résultat indique que SBeA peut non seulement distinguer les comportements sociaux des animaux génétiquement mutants, mais également identifier des modules comportementaux sociaux subtils associés aux mutations génétiques.
Universalité de SBeA : analyse dans différentes espèces et environnements
Pour évaluer la généralisabilité du SBeA à différentes espèces animales et dans différents contextes expérimentaux, l’équipe de recherche a mené des études utilisant des oiseaux et des chiens.
Pour augmenter la difficulté des tests SBeA, les animaux de l’expérience ont été conçus pour se ressembler le plus possible. En cartographiant les données sur les oiseaux et les chiens sur la carte du comportement social, l'étude a identifié 34 et 15 catégories de comportement social correspondant respectivement aux oiseaux et aux chiens (Figures c et g), et a visualisé leurs cas typiques en 3D (Figures d et h).
Les résultats montrent que le suivi de la posture 3D des oiseaux par SBeA peut identifier l'action de leurs griffes touchant leurs plumes de la queue, et le suivi de la posture 3D des chiens peut faire face à des situations d'occlusion telles que la position couchée.
Avantages de SBeA : un cadre d'apprentissage en quelques étapes
En 2021, l'équipe de Wei Pengfei à l'Institut de technologie avancée de Shenzhen a passé deux ans à utiliser des équipements de collecte de comportement développés indépendamment pour obtenir les postures de mouvement tridimensionnelles des animaux. Sur la base de la structure hiérarchique du comportement animal, semblable au langage, ils ont proposé un modèle de décomposition hiérarchique du comportement animal, qui simplifie les comportements continus et complexes en modules d'action qui peuvent être compris par les gens. Cette étude a mené une identification comportementale sur des souris modèles autistes et a réussi à identifier automatiquement et avec précision leurs anomalies comportementales caractéristiques au niveau sub-seconde.
L'architecture SBeA de cet article est une extension supplémentaire du « Behavior Atlas », un cadre général de cartographie du comportement animal en trois dimensions proposé en 2021, pour classer les comportements sociaux des animaux.
Le cadre d'apprentissage à quelques prises de vue utilisé par SBeA ne nécessite que relativement peu d'images annotées manuellement pour l'estimation de la pose 3D multi-animaux, permettant une reconnaissance d'identité sans étiquette et l'application d'un apprentissage non supervisé pour la classification du comportement social. De telles stratégies de génération de données réduisent la dépendance à l’égard d’ensembles de données à grande échelle et largement étiquetés et peuvent être appliquées à de plus grandes quantités de données non étiquetées.
Les cadres d'apprentissage à faible coût, tels que l'apprentissage par transfert (exploiter un modèle pré-entraîné sur un grand ensemble de données, puis l'affiner pour l'adapter à un ensemble de données plus petit pour une tâche spécifique) et l'augmentation des données (générer de nouveaux points de données à partir de données existantes en utilisant des techniques telles que le recadrage, la rotation ou l'ajustement des couleurs pour augmenter la taille de l'ensemble de données d'entraînement), ont un grand potentiel et deviennent de plus en plus populaires dans la recherche en IA.
Références :
1.https://www.nature.com/articles/s42256-023-00776-5
2.https://www.siat.ac.cn/kyjz2016/202401/t20240109_6952837.html