NitroGen : un modèle fondamental open source pour des agents de jeu généralistes
NitroGen : un modèle fondamental open source pour des agents de jeu généralistes
Abstract
Nous présentons NitroGen, un modèle fondamental vision-action destiné aux agents généralistes en jeu, entraîné sur 40 000 heures de vidéos de gameplay issues de plus de 1 000 jeux. Notre approche repose sur trois composantes essentielles : 1) un jeu de données vidéo-action à l’échelle d’internet, construit automatiquement en extrayant les actions des joueurs à partir de vidéos de gameplay disponibles publiquement ; 2) un environnement d’évaluation multi-jeux permettant de mesurer la généralisation entre jeux ; et 3) un modèle vision-action unifié entraîné par apprentissage par imitation à grande échelle (behavior cloning). NitroGen démontre une compétence remarquable dans des domaines variés, notamment les combats dans les jeux d’action 3D, le contrôle à haute précision dans les plateformers 2D, ainsi que l’exploration dans des mondes générés procéduralement. Il se généralise efficacement à des jeux inédits, atteignant jusqu’à une amélioration relative de 52 % des taux de réussite des tâches par rapport aux modèles entraînés depuis zéro. Nous mettons à disposition le jeu de données, l’ensemble d’évaluation et les poids du modèle afin de stimuler la recherche sur les agents incarnés généralistes.
Build AI with AI
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.