Command Palette
Search for a command to run...
PlayerOne: Egozentrischer Welt-Simulator
PlayerOne: Egozentrischer Welt-Simulator
Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao
Zusammenfassung
Wir stellen PlayerOne vor, den ersten egozentrischen realistischen Welt-Simulator, der es ermöglicht, in lebendig dynamischen Umgebungen eine immersiv und unbeschränkt erforschende Erfahrung zu haben. Anhand eines egozentrischen Szenebildes vom Benutzer kann PlayerOne die entsprechende Welt präzise konstruieren und egozentrische Videos generieren, die streng mit den echten Bewegungen des Benutzers übereinstimmen, die durch eine exozentrische Kamera aufgezeichnet werden. PlayerOne wird in einem Pipeline von grob zu fein trainiert: Zunächst erfolgt das Vortraining anhand umfangreicher egozentrischer Text-Video-Paare für ein grundlegendes Verständnis der egozentrischen Perspektive, gefolgt von dem Feintuning anhand synchroner Bewegungs-Videos, die aus egozentrisch-exozentrischen Video-Datensätzen mit unserem automatisierten Konstruktionspipeline extrahiert wurden. Darüber hinaus berücksichtigen wir die unterschiedliche Bedeutung verschiedener Komponenten und entwickeln ein teilweise dissoziiertes Bewegungsinjektionsverfahren (part-disentangled motion injection scheme), das eine präzise Steuerung von Teilbewegungen ermöglicht. Zudem legen wir einen gemeinsamen Rekonstruktionsrahmen fest, der sowohl die 4D-Szene als auch die Videobilder schrittweise modelliert und so die Szenenkonstanz bei der Generierung langer Videos gewährleistet. Experimentelle Ergebnisse zeigen seine ausgezeichnete Generalisierungsfähigkeit bei der präzisen Steuerung variierender menschlicher Bewegungen und beim konsistenten Modellieren vielfältiger Szenarien. Dies markiert den ersten Versuch im Bereich der egozentrischen Realwelt-Simulation und kann den Weg für die Gemeinschaft ebnen, um sich neuen Horizonten des Weltmodellierens und seinen vielfältigen Anwendungen zu widmen.