HyperAIHyperAI

Command Palette

Search for a command to run...

Matrix-Spiel: Interaktives Weltmodell der Grundlagen

Zusammenfassung

Wir stellen Matrix-Game vor, ein interaktives Weltgrundmodell für die steuerbare Generierung von Spielwelten. Matrix-Game wird mit einem zweistufigen Pipeline trainiert, die zunächst eine groß angelegte unlabeled Vortrainung zur Umweltverstehensbildung durchführt und dann durch eine action-labeled Trainierung zur Generierung interaktiver Videos fortgesetzt wird. Um dies zu unterstützen, haben wir den umfassenden Minecraft-Datensatz Matrix-Game-MC zusammengestellt, der über 2.700 Stunden unlabeled Gameplay-Videos und über 1.000 Stunden hochwertiger labeled Clips mit detaillierten Tastatur- und Mausaktionen-Annotierungen umfasst.Unser Modell nutzt ein steuerbares Paradigma zur Bild-zu-Welt-Generierung, das auf einem Referenzbild, Bewegungskontext und Benutzeraktionen konditioniert ist. Mit mehr als 17 Milliarden Parametern ermöglicht Matrix-Game präzise Kontrolle über Charakteraktionen und Kamerabewegungen, während es gleichzeitig eine hohe visuelle Qualität und zeitliche Kohärenz gewährleistet. Zur Leistungsbewertung haben wir den GameWorld-Score entwickelt, einen einheitlichen Benchmark, der visuelle Qualität, zeitliche Qualität, Aktionsteuerbarkeit und das Verständnis physikalischer Regeln für die Generierung von Minecraft-Welten misst.Ausführliche Experimente zeigen, dass Matrix-Game in allen Metriken konsistent bessere Ergebnisse erzielt als bisherige Open-Source-Minecraft-Weltmodelle (wie Oasis und MineWorld), insbesondere in Bezug auf Steuerbarkeit und physikalische Konsistenz. Doppelblinde menschliche Bewertungen bestätigen zudem die Überlegenheit von Matrix-Game und unterstreichen seine Fähigkeit, wahrheitsgetreue und präzise steuerbare Videos in verschiedenen Spielszenarien zu generieren. Um zukünftige Forschungsarbeiten im Bereich der interaktiven Bild-zu-Welt-Generierung zu fördern, werden wir die Gewichte des Matrix-Game-Modells sowie den GameWorld-Score-Benchmark unter https://github.com/SkyworkAI/Matrix-Game öffentlich zugänglich machen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp