CBLUE: معيار تقييم فهم اللغة الطبية الحيوية الصينية

الذكاء الاصطناعي (AI)، إلى جانب التقدم الحديث في فهم اللغة الحيوية الطبية، يغير تدريجياً الممارسة الطبية. مع تطوير مقاييس فهم اللغة الحيوية الطبية، أصبحت التطبيقات الذكائية شائعة الاستخدام في المجال الطبي. ومع ذلك، فإن معظم المقاييس محدودة باللغة الإنجليزية، مما يجعل من الصعب إعادة إنتاج العديد من النجاحات التي تحققت باللغة الإنجليزية للغات الأخرى. لتسهيل البحث في هذا الاتجاه، قمنا بجمع بيانات حيوية طبية من العالم الحقيقي وتقديم أول مقاييس تقييم فهم اللغة الحيوية الطبية الصينية (CBLUE): مجموعة من مهام فهم اللغة الطبيعية تشمل تحديد الكيانات المسماة، استخراج المعلومات، تطبيع التشخيص السريري، تصنيف الجمل الفردية/المزدوجة، بالإضافة إلى منصة عبر الإنترنت متعلقة بتقييم النماذج ومقارنتها وتحليلها. لتأسيس التقييم لهذه المهام، نقوم بإبلاغ النتائج التجريبية باستخدام 11 نموذجاً صينياً مسبقاً تم تدريبها حالياً، وتظهر النتائج التجريبية أن أفضل النماذج العصبية المتقدمة أداءً حتى الآن أسوأ بكثير من سقف الأداء البشري. تم إطلاق مقاييسنا على الرابط \url{https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414&lang=en-us}.