OceanBench هي مجموعة بيانات تقييمية معيارية مخصصة للمهام المحيطية تم تصميمها في عام 2024 من قبل فريق Zhang Ningyu وChen Huajun من جامعة Zhejiang. تتضمن مجموعة البيانات هذه إجمالي 15 مهمة مرتبطة بالمحيط، مثل مهام الإجابة على الأسئلة والوصف، وتهدف إلى تقييم قدرات نماذج اللغة الكبيرة (LLMs) بشكل شامل في مجال علم المحيطات. يتم إنشاء العينات في OceanBench تلقائيًا من مجموعات بيانات البذور ويتم التحقق منها يدويًا بواسطة خبراء لضمان الاحترافية ودقة البيانات.

تم إنشاء OceanBench بهدف تعزيز تطوير نماذج اللغة واسعة النطاق في علم المحيطات، وتوفير منصة اختبار موحدة لمساعدة الباحثين على فهم وتحسين أداء النماذج في مهام علوم المحيطات بشكل أفضل. ومن خلال هذا المعيار، يستطيع الباحثون تقييم قدرات النماذج في المهام الفرعية المختلفة لعلوم المحيطات، بما في ذلك على سبيل المثال لا الحصر الإجابة على الأسئلة ومهام إنشاء الوصف في مجالات فيزياء المحيطات، والكيمياء البحرية، وعلم الأحياء البحرية، والجيولوجيا، وعلم المياه، وما إلى ذلك.

بالإضافة إلى ذلك، اقترح OceanBench أيضًا مجموعة بيانات تعليمات نموذج المحيط الكبير OceanInstruct، وهي عبارة عن مجموعة بيانات تعليمات نموذجية لغوية كبيرة مصممة خصيصًا لمجال علوم البحار. ويحتوي على 20 ألف تعليمة ويهدف إلى توفير بيانات تدريبية لنماذج لغوية كبيرة في المجال البحري. تغطي هذه التعليمات مجموعة واسعة من المعرفة في مجال العلوم البحرية، مما يضمن أن النموذج لديه قدرات احترافية في الإجابة على أسئلة العلوم البحرية، وتوليد المحتوى، وقدرات الذكاء المتجسد تحت الماء. تم استخدام مجموعة البيانات لتدريب نموذج OceanGPT، الذي يعمل بشكل جيد في الإجابة على أسئلة العلوم البحرية، وتوليد المحتوى، وغيرها من الجوانب.