Nous présentons Lumine, la première recette open-source permettant de développer des agents généralistes capables d’accomplir, en temps réel, des missions complexes s’étendant sur plusieurs heures dans des environnements 3D ouverts exigeants. Lumine adopte un paradigme d’interaction humain-like qui intègre de manière end-to-end la perception, le raisonnement et l’action, alimenté par un modèle vision-langage. Il traite des pixels bruts à 5 Hz pour générer des actions clavier-souris précises à 30 Hz, tout en activant de manière adaptative le raisonnement uniquement lorsque nécessaire. Entraîné dans Genshin Impact, Lumine parvient à compléter l’intégralité de l’intrigue principale de Mondstadt, d’une durée de cinq heures, avec une efficacité équivalente à celle d’un humain, et exécute une large gamme de tâches en suivant des instructions en langage naturel, tant dans l’exploration 3D en monde ouvert que dans la manipulation 2D de l’interface graphique, couvrant la collecte, le combat, la résolution d’énigmes et les interactions avec les PNJ. En plus de ses performances au sein de son domaine d’entraînement, Lumine démontre une forte généralisation zéro-shot à d’autres jeux. Sans aucune adaptation fine, il réalise des missions de 100 minutes dans Wuthering Waves et l’intégralité du premier chapitre de cinq heures de Honkai: Star Rail. Ces résultats prometteurs mettent en évidence l’efficacité de Lumine dans des mondes et des dynamiques d’interaction distincts, marquant une avancée concrète vers la mise en œuvre d’agents généralistes dans des environnements ouverts.