SciFive: نموذج متحول من النص إلى النص للكتابات الطبية الحيوية

في هذا التقرير، نقدم SciFive، وهو نموذج T5 مخصص للمنطقة تم تدريبه مسبقًا على مجموعات كبيرة من النصوص البيولوجية الطبية. يتفوق نموذجنا على الأساليب الحالية الأفضل في الفئة (أي BERT، BioBERT، T5 الأساسي) في مهام علاقات الكيانات المسمّاة، استخراج العلاقات، الاستدلال اللغوي الطبيعي، ورد الإجابات على الأسئلة. نوضح أن طرق إنشاء النص لديها إمكانات كبيرة في مجموعة واسعة من مهام معالجة اللغة الطبيعية البيولوجية الطبية، خاصة تلك التي تتطلب إخراجًا أطول وأكثر تعقيدًا. تدعم نتائجنا استكشاف مهام إنشاء النص الأكثر صعوبة والعمل على تطوير أساليب جديدة في هذا المجال.