Klemen Kotar Wanhee Lee Rahul Venkatesh Honglin Chen Daniel Bear et al

Résumé

Nous présentons Probabilistic Structure Integration (PSI), un système permettant d’apprendre des modèles mondiaux riches en contrôle et flexibles en termes de prompt à partir de données. PSI repose sur un cycle en trois étapes. La première étape, Prédiction probabiliste, consiste à construire un modèle graphique probabiliste Ψ des données, sous la forme d’un modèle autoregressif à accès aléatoire séquentiel. Ψ permet de représenter un ensemble complet de distributions conditionnelles apprises, décrivant la dépendance de toute variable des données par rapport à tout autre ensemble de variables. À l’étape 2, Extraction de structure, nous montrons comment extraire de manière zéro-shot des propriétés fondamentales à faible dimension dans les données, correspondant à un ensemble diversifié de « structures intermédiaires » significatives, grâce à une inférence causale appliquée à Ψ. L’étape 3, Intégration, clôt le cycle en transformant ces structures en nouveaux types de tokens, qui sont ensuite continuellement réintroduits dans le processus d’entraînement comme signaux de conditionnement et comme cibles de prédiction. Chaque itération du cycle renforce les capacités de Ψ, tant en améliorant sa capacité à modéliser les données sous-jacentes qu’en créant de nouveaux leviers de contrôle — analogues à un langage de prompt universel du type LLM. Nous entraînons une instance de PSI sur 1,4 trillion de tokens provenant de données vidéo issues d’internet ; nous l’utilisons pour effectuer diverses inférences utiles en prédiction et compréhension vidéo ; nous extrayons des résultats d’optical flow, de profondeur auto-supervisée et de segmentation d’objets parmi les meilleurs actuellement disponibles ; et nous exploitons ces structures pour réaliser un cycle complet d’améliorations prédictives.