InterPet4D : l'IA génère les mouvements de chiens

Une équipe de recherche dirigée par Yichen Peng et Hideki Koike de l'Institut des sciences de Tokyo, en collaboration avec l'Université Carnegie Mellon et d'autres institutions, a présenté InterPet4D, un jeu de données multimodal en quatre dimensions dédié aux interactions humain-chien. Cette initiative vise à combler un manque de recherche sur la modélisation informatique des relations humains-animaux, un domaine moins avancé que les interactions humain-humain ou humain-objet. La notion de 4D intègre l'information spatiale tridimensionnelle captée au fil du temps, permettant d'analyser la dynamique complète des mouvements pendant une interaction. Le jeu de données a été compilé à partir de 161 séances impliquant 23 personnes et 13 chiens de 11 races différentes. La collecte utilise douze caméras synchronisées sous différents angles, complétées par une caméra subjective portée par l'humain, ainsi que des enregistrements audio et des descriptions textuelles. Les séquences sont classées en quatre catégories : caresses, commandes vocales, appels à distance et activités libres comme le rapport ou la course. Cette méthodologie permet de reconstruire précisément les postures et les déplacements des deux participants, même lors de mouvements rapprochés où les caméras sont généralement obstruées. À partir de ces données, les chercheurs ont développé InterPetMoGen, un cadre d'intelligence artificielle capable de générer des mouvements de chiens réalistes en réponse aux gestes humains et aux indices audio. Le système convertit les mouvements complexes en jetons de mouvement compacts, traités par un transformateur autoregressif qui génère les séquences de manière séquentielle. Un module d'autoencodeur spécialisé et une attention multimodale permettent au modèle de pondérer l'influence de chaque type d'entrée pour produire des réponses kinétiques cohérentes. Les évaluations démontrent les performances supérieures de l'approche. Le modèle réduit de 47,2 % la distance de Fréchet Inception par rapport à une architecture de référence, indiquant une ressemblance cinématique bien plus marquée avec la réalité. L'alignement entre les gestes humains et les réponses canines s'améliore nettement, tout comme la diversité des mouvements générés. Un test utilisateur auprès de douze participants a attribué au modèle des scores élevés pour le naturel, la réactivité et la qualité globale, dépassant largement les alternatives existantes. Les travaux, publiés sur arXiv et présentés lors de la 19e conférence ECCV 2026, posent les bases d'une recherche standardisée sur les interactions humains-animaux. Les applications potentielles s'étendent à l'analyse comportementale, l'animation, les agents virtuels et la robotique socialement consciente. Bien que le projet se limite actuellement à des séquences de dix secondes et ne modélise pas les forces de contact physique, les chercheurs prévoient d'étendre la méthode à d'autres espèces et à des interactions plus complexes, ouvrant la voie à une intégration plus précise des animaux dans les environnements numériques et robotiques.