InterGen: Diffusionsbasierte Generierung mehrerer menschlicher Bewegungen unter komplexen Wechselwirkungen

In den letzten Zeit haben wir erhebliche Fortschritte bei der Entwicklung von Diffusionsmodellen zur Generierung realistischer menschlicher Bewegungen beobachtet. Doch diese Ansätze berücksichtigen weitgehend nicht die Interaktionen zwischen mehreren Menschen. In diesem Artikel präsentieren wir InterGen, einen effektiven, auf Diffusion basierenden Ansatz, der menschliche Interaktionen direkt in den Bewegungs-Diffusionsprozess integriert und damit Laienbenutzern ermöglicht, hochwertige Zweipersonen-Interaktionsbewegungen allein anhand von Texteingaben anzupassen. Zunächst tragen wir ein multimodales Datenset namens InterHuman bei, das etwa 107 Millionen Frames umfasst und vielfältige Zweipersonen-Interaktionen mit präzisen Skelett-Bewegungen sowie 23.337 natürlichsprachliche Beschreibungen enthält. Auf algorithmischer Ebene passen wir das Bewegungs-Diffusionsmodell gezielt unserem Zweipersonen-Interaktions-Szenario an. Um die Symmetrie der menschlichen Identitäten während der Interaktion zu berücksichtigen, schlagen wir zwei kooperative, transformerbasierte Entrauschungsmodelle vor, die explizit Gewichte teilen und über ein gegenseitiges Aufmerksamkeitsmechanismus miteinander verbunden sind, um die beiden Entrauschungsprozesse weiter zu verknüpfen. Darüber hinaus führen wir eine neuartige Darstellung für die Bewegungs-Eingabe in unserem Interaktions-Diffusionsmodell ein, die die globalen Beziehungen zwischen den beiden Akteuren im Weltkoordinatensystem explizit formuliert. Zudem stellen wir zwei neue Regularisierungsterme vor, um räumliche Beziehungen zu kodieren, und integrieren eine entsprechende Dämpfungsschema während des Trainings des Interaktions-Diffusionsmodells. Umfassende Experimente bestätigen die Wirksamkeit und Generalisierbarkeit von InterGen. Insbesondere kann das Modell vielfältigere und überzeugendere Zweipersonen-Bewegungen generieren als bisherige Methoden und ermöglicht zahlreiche Anwendungen im Bereich menschlicher Interaktionen.