Klemen Kotar Wanhee Lee Rahul Venkatesh Honglin Chen Daniel Bear et al

Abstract

Wir stellen Probabilistic Structure Integration (PSI) vor, ein System zur Lernung reichhaltig steuerbarer und flexibel ansprechbarer Weltmodelle aus Daten. PSI basiert auf einem dreistufigen Zyklus. Im ersten Schritt, der probabilistischen Vorhersage, wird ein probabilistisches grafisches Modell Ψ der Daten aufgebaut, in Form eines zufallszugriffsfähigen autoregressiven Sequenzmodells. Ψ unterstützt eine vollständige Menge an gelernten bedingten Verteilungen, die die Abhängigkeit beliebiger Variablen in den Daten von beliebigen anderen Variablenmengen beschreiben. Im zweiten Schritt, der Strukturaus extraction, zeigen wir, wie man unterliegende, niedrigdimensionale Eigenschaften in den Daten – entsprechend einer Vielzahl sinnvoller „intermediärer Strukturen“ – auf zero-shot-Basis mittels kausaler Inferenz auf Ψ extrahieren kann. Im dritten Schritt, der Integration, wird der Zyklus abgeschlossen, indem diese Strukturen in neue Token-Typen umgewandelt werden, die anschließend kontinuierlich als Bedingungs-Signale und Vorhersageziele in das Trainingsverfahren zurückgeführt werden. Jeder solche Zyklus erweitert die Fähigkeiten von Ψ, sowohl indem es die Modellierung der zugrundeliegenden Daten verbessert, als auch neue Steuerungsmechanismen schafft – vergleichbar einer universellen, LLM-ähnlichen Anfrage-Sprache. Wir trainieren eine Instanz von PSI auf 1,4 Billionen Token an Internet-Video-Daten; wir nutzen sie, um eine Vielzahl nützlicher Inferenzen im Bereich Video-Vorhersage und -Verständnis durchzuführen; wir extrahieren state-of-the-art-Optical Flow, selbstüberwachtes Tiefenmodell und Objektssegmentierung; und wir nutzen diese Strukturen, um einen vollständigen Zyklus prädiktiver Verbesserungen zu ermöglichen.