BioBART: التدريب المسبق وتقييم نموذج لغوي توليدي طبي

نموذج اللغة المُدرّب مسبقًا أصبح أساسًا مهمًا في معالجة اللغة الطبيعية. في الآونة الأخيرة، أظهر التدريب المسبق داخل المجال فوائد كبيرة على مهام متعددة محددة حسب المجال. في المجال الطبي الحيوي، تُعد مهام إنشاء اللغة الطبيعية (NLG) ذات أهمية حاسمة، لكنها ما زالت غير كافية الدراسة. عند معالجة مهام فهم اللغة الطبيعية (NLU) كمهمات لإنشاء اللغة الطبيعية، يتم تحقيق أداء مرضٍ في المجال العام من خلال إنشاء لغوي مقيد أو استخدام توجيه لغوي. نسلط الضوء على النقص في نماذج اللغة الإنشائية المُدرّبة داخل المجال في المجال الطبي الحيوي، بالإضافة إلى غياب معايير تقييم مُنظمة للمهام النهائية الإنشائية، مما يعيق تطور مجتمع البحث. في هذا العمل، نقدم نموذج اللغة الإنشائية BioBART الذي يُعدّل نموذج BART ليتناسب مع المجال الطبي الحيوي. ونقوم بجمع مختلف مهام إنشاء اللغة الطبية، بما في ذلك المحادثات، والملخصات، وربط الكيانات، وتحديد الكيانات المعرفية. أظهر BioBART، الذي تم تدريبه مسبقًا على ملخصات PubMed، أداءً متفوقًا مقارنةً بنموذج BART، ووضع قواعد قوية على عدة مهام. علاوةً على ذلك، أجرينا دراسات تحليلية (أبلاسيون) على مهام التدريب المسبق لـ BioBART، ووجدنا أن تبديل الجمل يُحدث تأثيرات سلبية على المهام النهائية.