RadQA: مجموعة بيانات إجابة الأسئلة لتحسين فهم تقارير التصوير الطبي

نقدم مجموعة بيانات للإجابة على الأسئلة في مجال الراديولوجيا، تُسمى RadQA، تتضمن 3074 سؤالًا موجهة إلى تقارير الراديولوجيا، وتم تضمين إجابات مُسَمَّاة بشكل دقيق ضمن نصوص الإجابة (مما يُنتج إجماليًا 6148 زوجًا من السؤال والإجابة المدعومة بالدليل)، وذلك من خلال مختصين طبيين. تم إنشاء الأسئلة يدويًا باستخدام قسم الإحالة السريرية من التقارير، مع أخذ الاحتياجات الفعلية للمهنيين المُقدِّمين للطلب بعين الاعتبار، وتحقيق تقليل التحيز الناتج عن رؤية سياق الإجابة (بالإضافة إلى إنشاء أسئلة غير قابلة للإجابة بشكل طبيعي). تم تحديد عبارات الإجابة داخل أقسام "النتائج" و"الاستنتاجات" في التقرير. وتهدف المجموعة إلى تلبية متطلبات سريرية معقدة من خلال تضمين عبارات إجابة كاملة (مع الحفاظ على الإيجاز)، لا تقتصر فقط على الكيانات، ويمكن أن تمتد عبر عدة أسطر. قمنا بتحليل شامل للمجموعة المقترحة من خلال دراسة الفئات الواسعة للخلاف في التصنيف (مما يوفر رؤى حول الأخطاء التي يرتكبها البشر)، ومتطلبات الاستدلال اللازمة للإجابة على السؤال (مما يكشف عن الاعتماد الكبير على المعرفة الطبية لحل الأسئلة). حققت نماذج لغة التحويل (Transformer) المتقدمة أفضل نتيجة في مؤشر F1 قدرها 63.55 على مجموعة الاختبار، في حين أن أفضل أداء بشري بلغ 90.31 (بمتوسط قدره 84.52). يُظهر هذا الطبيعة الصعبة لمجموعة RadQA، التي تترك مجالًا واسعًا للبحث المستقبلي في الأساليب.