Abstract

Wir stellen OceanGym vor, den ersten umfassenden Benchmark für unterwasserembodierte Agenten im Ozean, der darauf abzielt, die Entwicklung künstlicher Intelligenz in einer der anspruchsvollsten realen Umgebungen voranzutreiben. Im Gegensatz zu terrestrischen oder luftgestützten Domänen stellen unterwasserliche Umgebungen extreme Herausforderungen hinsichtlich Wahrnehmung und Entscheidungsfindung dar, darunter geringe Sichtweite und dynamische Meeresströmungen, was die effektive Einsetzbarkeit von Agenten besonders schwierig macht. OceanGym umfasst acht realistische Aufgabendomänen sowie einen einheitlichen Agenten-Framework, der durch multimodale große Sprachmodelle (MLLMs) gesteuert wird und die Integration von Wahrnehmung, Gedächtnis und sequenzieller Entscheidungsfindung ermöglicht. Die Agenten müssen optische und sonarbasierte Daten verstehen, komplexe Umgebungen autonome erkunden und langfristige Ziele unter diesen rauen Bedingungen erreichen. Umfangreiche Experimente zeigen erhebliche Leistungslücken zwischen aktuellen MLLM-gesteuerten Agenten und menschlichen Experten, was die anhaltenden Schwierigkeiten bei Wahrnehmung, Planung und Anpassungsfähigkeit in unterwasserischen Ozeanumgebungen unterstreicht. Durch die Bereitstellung einer hochfidelitätsgetreuen, sorgfältig gestalteten Plattform etabliert OceanGym eine Testumgebung für die Entwicklung robuster embodied AI und die Übertragung dieser Fähigkeiten auf reale autonome Unterwasserfahrzeuge – ein entscheidender Schritt hin zu intelligenten Agenten, die in einer der letzten unerschlossenen Fronten der Erde operieren können. Der Quellcode und die Daten sind unter https://github.com/OceanGPT/OceanGym verfügbar.