بيوميجاترون: نموذج لغوي نطاقي طبي أكبر

شهدت المجالات الحيوية والطبية تدفقًا كبيرًا لنموذجات لغوية مخصصة للمجال، حيث أظهرت النماذج المُدرّبة مسبقًا على نصوص طبية حيوية أداءً أفضل في اختبارات المجالات الحيوية مقارنةً بالنماذج المدربة على مجموعات نصوص عامة مثل ويكيبيديا والكتب. ومع ذلك، فإن معظم الدراسات لم تُعمّق في دراسة العوامل المؤثرة على تطبيقات اللغة داخل المجالات المحددة. إضافةً إلى ذلك، تمّ تجاهل دراسة تأثير حجم النموذج في النماذج المخصصة للمجالات بشكل كبير. قمنا بدراسة تجريبية وتقييم لعوامل متعددة قد تؤثر على الأداء في تطبيقات لغة المجال، مثل مجموعة كلمات تحت الكلمات (sub-word vocabulary)، وحجم النموذج، ونوع مجموعة النصوص المستخدمة في التدريب المسبق، ونقل المجال (domain transfer). ونُظهر تحسينات منتظمة في الأداء على المعايير باستخدام نموذج BioMegatron الأكبر الذي تم تدريبه على مجموعة نصوص أكبر داخل المجال، مما يسهم في تعميق فهمنا لتطبيقات النماذج اللغوية الخاصة بالمجال. كما نُظهر تحسينات ملحوظة مقارنةً بأفضل النماذج السابقة (SOTA) في معايير معتمدة لمعالجة اللغة الطبية الحيوية، بما في ذلك استخراج الكيانات الاسمية (Named Entity Recognition)، واستخراج العلاقات (Relation Extraction)، وإجابة الأسئلة (Question Answering). يمكن الوصول إلى نقاط التحقق (checkpoints) للنموذج والكود عبر الرابط [https://ngc.nvidia.com] و[https://github.com/NVIDIA/NeMo].