KI generiert realistische Hundebewegungen aus Mensch-Gesten

Forschende des Institute of Science Tokyo, angeführt von Professor Yichen Peng und Professor Hideki Koike, haben in Zusammenarbeit mit der Carnegie Mellon University und weiteren internationalen Partnern das multimodale 4D-Datenset InterPet4D vorgestellt. Die Studie wurde auf arXiv veröffentlicht und auf der 19. European Conference on Computer Vision (ECCV) 2026 präsentiert. Das Dataset schließt eine Lücke in der KI-Forschung, indem es die komplexen, zeitlich synchronisierten Interaktionen zwischen Mensch und Hund systematisch erfasst und für nachfolgende Modellierungsansätze verfügbar macht. InterPet4D umfasst insgesamt 6,83 Millionen synchronisierte Frames, die aus 161 Aufnahmesessions mit 23 menschlichen Teilnehmern und 13 Hunden elf verschiedener Rassen stammen. Die Datenerfassung erfolgte durch zwölf synchronisierte Drittkameras aus unterschiedlichen Perspektiven sowie eine egozentrische Kamera aus Sicht des Menschen. Zusätzlich zu den Videosequenzen wurden Audioaufzeichnungen, Textbeschreibungen sowie dreidimensionale Skelett- und Pose-Daten extrahiert. Die Interaktionen kategorisieren sich in Streicheln, Kommandos, Rufsignale sowie freispielorientierte Aktivitäten wie Apportieren oder Schleppseil. Auf Basis dieser Datengrundlage entwickelten die Forscher das KI-Framework InterPetMoGen (IPMG). Dieses Modell generiert kontextsensitive Hundebewegungen als Reaktion auf menschliche Gesten, Körperhaltungen und Sprachbefehle. Komplexe Bewegungsabläufe werden dabei in kompakte Motion Tokens umgewandelt, die ein autoregressiver Transformer sequenziell verarbeitet. Ein PetVAE-Modul lernt eine verdichtete Repräsentation der Hunde-Bewegungen, während eine modusaware Attention-Funktion sicherstellt, dass visuelle und auditive Eingaben gewichtet in die Generierung einfließen. Die Leistungsbewertung mittels Fréchet Inception Distance und Retrieval Precision ergab signifikante Verbesserungen gegenüber herkömmlichen Baselines. Die kinetische FID sank von 21,22 auf 11,21, was einer Reduktion um 47,2 Prozent entspricht. Auch die Ausrichtung auf menschliche Hand- und Körpermobilität stieg deutlich an, während die Vielfalt der generierten Sequenzen zunahm. In einer Benutzerstudie mit zwölf Teilnehmern bewerteten die Probanden die Natürlichkeit, Reaktionsfähigkeit und Gesamtqualität der KI-generierten Antworten mit Werten zwischen 6,55 und 6,63 auf einer Siebelpunkteskala, deutlich höher als die Vergleichsmodelle mit Werten um 3,67 bis 4,04. InterPet4D und InterPetMoGen legen den Grundstein für zukünftige Forschungsrichtungen in der Verhaltensanalyse, computeranimierten Charaktergestaltung, virtuellen Agenten und sozial sensiblen Robotik. Die aktuellen Veröffentlichungen konzentrieren sich auf kurze Sequenzen von zehn Sekunden und modellieren noch keine physikalischen Kontaktkräfte. Forschende planen in künftigen Iterationen die Erweiterung auf weitere Tierarten, die Berücksichtigung physischer Interaktionen sowie die Generierung längerer Bewegungsabläufe.