Interaktive und erklärbare, regionsgeleitete Generierung radiologischer Berichte

Die automatische Generierung von Radiologieberichten hat das Potenzial, Radiologen bei der zeitaufwändigen Aufgabe der Berichterstellung zu unterstützen. Bestehende Methoden generieren den vollständigen Bericht ausschließlich auf Basis von Bildebene-Features und achten dabei nicht explizit auf anatomische Regionen im Bild. Wir stellen ein einfaches, jedoch wirksames regionengestütztes Modell zur Berichtsgenerierung vor, das zuerst anatomische Regionen detektiert und anschließend einzelne auffällige Regionen beschreibt, um den endgültigen Bericht zu erstellen. Im Gegensatz zu vorherigen Ansätzen, die Berichte ohne Möglichkeit menschlicher Intervention generieren und über begrenzte Erklärbarkeit verfügen, eröffnet unser Verfahren durch zusätzliche interaktive Funktionen neue klinische Anwendungsfälle und bietet ein hohes Maß an Transparenz und Erklärbarkeit. Umfassende Experimente belegen die Wirksamkeit unseres Ansatzes bei der Berichtsgenerierung und zeigen, dass er gegenübers vorherigen State-of-the-Art-Modellen übertrifft, wobei insbesondere seine interaktiven Fähigkeiten hervorgehoben werden. Der Quellcode und die Modell-Checkpoint-Dateien sind unter https://github.com/ttanida/rgrg verfügbar.