CliCR: Ein Datensatz von klinischen Fallberichten für die maschinelle Leseverstehenskommunikation

Wir präsentieren einen neuen Datensatz für die maschinelle Verständnisfähigkeit im medizinischen Bereich. Unser Datensatz verwendet klinische Fallberichte mit etwa 100.000 Lückentextfragen zu diesen Fällen. Wir wenden mehrere Baseline-Modelle und state-of-the-art neuronale Leseverfahren auf den Datensatz an und beobachten eine erhebliche Leistungsunterschied (20% F1-Score) zwischen dem besten menschlichen und maschinellen Leser. Wir analysieren die erforderlichen Fähigkeiten für erfolgreiche Antworten und zeigen, wie sich die Leserverformance je nach angewandten Fähigkeiten unterscheidet. Wir stellen fest, dass Inferenzschlussfolgerungen unter Verwendung von Fachwissen und Objektverfolgung die am häufigsten benötigten Fähigkeiten sind, während das Erkennen von weggelassenen Informationen und räumlich-zeitliche Schlussfolgerungen für Maschinen am schwierigsten sind.