Résumé

Nous présentons OceanGym, le premier benchmark complet dédié aux agents incarnés sous-marins, conçu pour faire progresser l’intelligence artificielle dans l’un des environnements réels les plus exigeants. Contrairement aux domaines terrestres ou aériens, les milieux sous-marins posent des défis perceptifs et décisionnels extrêmes, notamment une faible visibilité et des courants océaniques dynamiques, rendant le déploiement efficace des agents particulièrement difficile. OceanGym regroupe huit domaines de tâches réalistes et une architecture unifiée d’agents pilotée par des Modèles de Langage Multimodaux à Grande Échelle (MLLM), intégrant la perception, la mémoire et la prise de décision séquentielle. Les agents doivent comprendre des données optiques et sonar, explorer de manière autonome des environnements complexes, et atteindre des objectifs à long horizon dans ces conditions sévères. Des expériences approfondies révèlent des écarts importants entre les agents les plus avancés pilotés par MLLM et les experts humains, mettant en évidence la difficulté persistante de la perception, de la planification et de l’adaptabilité dans les environnements sous-marins. En offrant une plateforme à haute fidélité, rigoureusement conçue, OceanGym constitue un terrain d’expérimentation pour le développement d’IA incarnée robuste et la transférabilité de ces capacités vers des véhicules autonomes sous-marins réels, marquant ainsi une étape décisive vers la mise en œuvre d’agents intelligents capables d’opérer dans l’une des dernières frontières inexplorées de la Terre. Le code et les données sont disponibles à l’adresse suivante : https://github.com/OceanGPT/OceanGym.