RadQA: Ein Frage-Antwort-Datensatz zur Verbesserung des Verständnisses von Radiologieberichten

Wir präsentieren ein radiologisches Frage-Antwort-Dataset, RadQA, das 3074 Fragen enthält, die anhand von Radiologieberichten formuliert wurden und von Ärzten mit den entsprechenden Antwortabschnitten annotiert wurden (was insgesamt 6148 Frage-Antwort-Evidenz-Paare ergibt). Die Fragen wurden manuell unter Verwendung des klinischen Verweisabschnitts der Berichte erstellt und berücksichtigen die tatsächlichen Informationsbedürfnisse der verordnenden Ärzte, wobei der Zugriff auf den Antwortkontext bewusst vermieden wird, um Verzerrungen zu vermeiden (und darüber hinaus organisch unbeantwortbare Fragen generiert werden). Die Antwortabschnitte sind innerhalb der Abschnitte „Befunde“ und „Eindrücke“ eines Berichts markiert. Das Dataset zielt darauf ab, komplexe klinische Anforderungen zu erfüllen, indem es vollständige (jedoch präzise) Antwortphrasen bereitstellt, die nicht nur Entitäten sind und sich über mehrere Zeilen erstrecken können. Wir führen eine umfassende Analyse des vorgeschlagenen Datasets durch, indem wir die breiten Kategorien von Annotationsschwierigkeiten untersuchen (was Einblicke in menschliche Fehler liefert) und die Schlussfolgerungsanforderungen zur Beantwortung einer Frage analysieren (was die starke Abhängigkeit von medizinischem Wissen bei der Beantwortung der Fragen aufzeigt). Fortgeschrittene Transformer-Sprachmodelle erreichen auf dem Testset einen besten F1-Score von 63,55, während die beste menschliche Leistung bei 90,31 liegt (durchschnittlich 84,52). Dies unterstreicht die herausfordernde Natur von RadQA und lässt erheblichen Forschungsbedarf für zukünftige Methoden offen.