Reconnaissance du comportement social de souris à vue multiple à l’aide d’un modèle graphique profond

L’analyse du comportement social en cage domestique chez la souris constitue un outil précieux pour évaluer l’efficacité thérapeutique des maladies neurodégénératives. Malgré les efforts considérables fournis par la communauté scientifique, les enregistrements vidéo à une caméra restent principalement utilisés pour cette analyse. Étant donné leur potentiel à décrire de manière riche les comportements sociaux des souris, les enregistrements vidéo multi-vues pour l’observation des rongeurs attirent de plus en plus d’attention. Toutefois, l’identification des comportements sociaux à partir de différentes vues demeure un défi, en raison du manque de correspondance entre les sources de données. Pour relever ce problème, nous proposons ici un nouveau modèle latent-attention multi-vues et discriminatif dynamique, qui apprend conjointement des sous-structures propres à chaque vue et des sous-structures partagées entre les vues : les premières captent les dynamiques uniques de chaque vue, tandis que les secondes encodent les interactions entre les différentes vues. En outre, nous introduisons un nouveau modèle d’auto-encodeur variationnel latent multi-vues à attention, permettant d’apprendre efficacement les caractéristiques acquises, et ainsi d’extraire des caractéristiques discriminantes dans chaque vue. Les résultats expérimentaux sur les jeux de données standards CRMI13 et notre propre jeu de données multi-vues sur le comportement des souris atteintes de maladie de Parkinson (PDMB) démontrent que notre modèle surpasse les méthodes de pointe existantes et traite efficacement le problème de déséquilibre des données.