HyperAIHyperAI

Command Palette

Search for a command to run...

PlayerOne: Egozentrischer Welt-Simulator

Yuanpeng Tu Hao Luo Xi Chen Xiang Bai Fan Wang Hengshuang Zhao

Zusammenfassung

Wir stellen PlayerOne vor, den ersten egozentrischen realistischen Welt-Simulator, der es ermöglicht, in lebendig dynamischen Umgebungen eine immersiv und unbeschränkt erforschende Erfahrung zu haben. Anhand eines egozentrischen Szenebildes vom Benutzer kann PlayerOne die entsprechende Welt präzise konstruieren und egozentrische Videos generieren, die streng mit den echten Bewegungen des Benutzers übereinstimmen, die durch eine exozentrische Kamera aufgezeichnet werden. PlayerOne wird in einem Pipeline von grob zu fein trainiert: Zunächst erfolgt das Vortraining anhand umfangreicher egozentrischer Text-Video-Paare für ein grundlegendes Verständnis der egozentrischen Perspektive, gefolgt von dem Feintuning anhand synchroner Bewegungs-Videos, die aus egozentrisch-exozentrischen Video-Datensätzen mit unserem automatisierten Konstruktionspipeline extrahiert wurden. Darüber hinaus berücksichtigen wir die unterschiedliche Bedeutung verschiedener Komponenten und entwickeln ein teilweise dissoziiertes Bewegungsinjektionsverfahren (part-disentangled motion injection scheme), das eine präzise Steuerung von Teilbewegungen ermöglicht. Zudem legen wir einen gemeinsamen Rekonstruktionsrahmen fest, der sowohl die 4D-Szene als auch die Videobilder schrittweise modelliert und so die Szenenkonstanz bei der Generierung langer Videos gewährleistet. Experimentelle Ergebnisse zeigen seine ausgezeichnete Generalisierungsfähigkeit bei der präzisen Steuerung variierender menschlicher Bewegungen und beim konsistenten Modellieren vielfältiger Szenarien. Dies markiert den ersten Versuch im Bereich der egozentrischen Realwelt-Simulation und kann den Weg für die Gemeinschaft ebnen, um sich neuen Horizonten des Weltmodellierens und seinen vielfältigen Anwendungen zu widmen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp