Ensemble De Données D'évaluation De Référence Océanographique OceanBench

OceanBench est un ensemble de données d'évaluation de référence spécifiquement pour les tâches océanographiques conçu en 2024 par l'équipe de Zhang Ningyu et Chen Huajun de l'Université du Zhejiang. Cet ensemble de données comprend un total de 15 tâches liées à l'océan, telles que des tâches de réponse à des questions et de description, et vise à évaluer de manière exhaustive les capacités des grands modèles linguistiques (LLM) dans le domaine de l'océanographie. Les échantillons dans OceanBench sont générés automatiquement à partir d'ensembles de données de départ et vérifiés manuellement par des experts pour garantir le professionnalisme et l'exactitude des données.

OceanBench a été créé pour faire progresser le développement de modèles linguistiques à grande échelle en océanographie, en fournissant une plate-forme de test standardisée pour aider les chercheurs à mieux comprendre et à améliorer les performances des modèles dans les tâches scientifiques océaniques. Grâce à ce benchmark, les chercheurs peuvent évaluer les capacités des modèles sur différentes sous-tâches des sciences océaniques, y compris, mais sans s'y limiter, les tâches de réponse aux questions et de génération de descriptions dans les domaines de la physique océanique, de la chimie marine, de la biologie marine, de la géologie, de l'hydrologie, etc.

De plus, OceanBench a également proposé OceanInstruct Ensemble de données d'instructions pour grands modèles océaniques, qui est un grand ensemble de données d'instructions de modèle de langage conçu spécifiquement pour le domaine des sciences marines. Il contient 20 000 instructions et vise à fournir des données de formation pour les grands modèles de langage dans le domaine marin. Ces instructions couvrent un large éventail de connaissances en sciences marines, garantissant que le modèle dispose de capacités professionnelles en matière de réponse aux questions sur les sciences marines, de génération de contenu et de capacités d'intelligence incarnée sous-marine. L'ensemble de données a été utilisé pour former le modèle OceanGPT, qui fonctionne bien dans la réponse aux questions sur les sciences marines, la génération de contenu et d'autres aspects.