Yinglin Duan Zhengxia Zou Tongwei Gu Wei Jia Zhan Zhao et al

Abstract

In jüngster Zeit rückt die Entwicklung von 3D-Weltmodellen, die komplexe realweltähnliche Szenarien simulieren, zunehmend in den Fokus der Forschung. Weltmodelle finden breite Anwendung in verschiedenen Bereichen, darunter embodied AI, autonomes Fahren und Unterhaltung. Eine realistischere Simulation mit präziser Physik ermöglicht es, die Sim-to-Real-Lücke effektiv zu schließen und erlaubt die bequeme Gewinnung umfangreicher Informationen über die reale Welt. Während die traditionelle manuelle Modellierung die Erstellung virtueller 3D-Szenen ermöglichte, setzen moderne Ansätze auf fortschrittliche maschinelle Lernalgorithmen zur Generierung von 3D-Welten, wobei die jüngsten Fortschritte sich vor allem auf generative Methoden konzentrieren, die virtuelle Welten basierend auf Benutzeranweisungen erzeugen können. In dieser Arbeit untersuchen wir diese Forschungsrichtung und stellen LatticeWorld vor – einen einfachen, aber leistungsfähigen Rahmen für die Generierung von 3D-Welten, der die industrielle Produktionspipeline von 3D-Umgebungen erheblich vereinfacht. LatticeWorld nutzt leichtgewichtige große Sprachmodelle (LLaMA-2-7B) gemeinsam mit industriestandardmäßigen Render-Engines (z. B. Unreal Engine 5), um dynamische Umgebungen zu generieren. Unser vorgeschlagener Rahmen akzeptiert multimodale Eingaben in Form von Textbeschreibungen und visuellen Anweisungen und erzeugt große, interaktive 3D-Welten mit dynamischen Agenten, die sich durch konkurrenzfähige Mehragenten-Interaktion, hochauflösende Physiksimulation und Echtzeit-Rendering auszeichnen. Wir führen umfassende Experimente durch, um LatticeWorld zu bewerten und zeigen, dass es eine überlegene Genauigkeit bei der Erzeugung von Szenenlayouts und eine hervorragende visuelle Fidelität erreicht. Darüber hinaus steigert LatticeWorld die Produktivität in der Industrie um mehr als einen bestimmten Prozentsatz, ohne die kreative Qualität gegenüber traditionellen manuellen Produktionstechniken zu beeinträchtigen. Ein Demo-Video ist unter folgendem URL verfügbar: [https://...]