منذ 18 أيام
بحث Saama Research في MEDIQA 2019: BioBERT المُدرّب مسبقًا مع توضيح الانتباه للاستدلال الطبيعي للغة الطبية
{Suriyadeepan Ramamoorthy, Soham Chatterjee, Malaikannan Sankarasubbu, Kamal raj Kanakarajan, Vaidheeswaran Archana}
الملخص
استنتاج اللغة الطبيعية هو المهمة التي تتمثل في تحديد العلاقة بين جملتين على أنها استنتاج (entailment) أو تناقض (contradiction) أو تعادل (neutrality). أما MedNLI، فهو نسخة طبية من استنتاج اللغة الطبيعية مخصصة للنطاق السريري. تبحث هذه الورقة في استخدام نموذج التمثيل الثنائي للمحرّك من نموذج Transformer (BERT) لحل مسألة MedNLI. وحقق النموذج المقترح، الذي تم تدريبه مسبقًا على مجموعة PMC وPubMed ثم تدريبه بدقة على بيانات MIMICIII الإصدار 1.4، نتائجًا رائدة في مجال MedNLI (بمعدل دقة 83.45٪)، كما حقق دقة بلغت 78.5٪ في تحدي MEDIQA. وقامت الكاتبات بتحليل أنماط الانتباه التي ظهرت نتيجة لتدريب نموذج BERT على مجموعة MedNLI باستخدام أداة توضيحية تُسمى bertviz.