Stellen Sie sich als Radiologe vor: Generierung von Radiologieberichten über anatomische Regionen
Die Automatisierung der Erstellung von Radiologieberichten kann die Berichterstattungsbelastung für Radiologen entlasten. Allerdings konzentrieren sich bestehende Ansätze hauptsächlich auf den Thoraxbereich, da öffentliche Datensätze für andere anatomische Regionen begrenzt verfügbar sind. Zudem basieren sie oft auf naiven datengetriebenen Ansätzen, beispielsweise auf einem grundlegenden Encoder-Decoder-Framework mit Captioning-Verlust, was ihre Fähigkeit zur Erkennung komplexer Muster über verschiedene anatomische Regionen hinweg einschränkt. Um diese Herausforderungen anzugehen, stellen wir X-RGen vor – einen radiologenorientierten Rahmen für die Berichtserstellung über sechs anatomische Regionen. In X-RGen versuchen wir, das Verhalten menschlicher Radiologen nachzuahmen, indem wir es in vier zentrale Phasen unterteilen: 1) erste Beobachtung, 2) querschnittliche Analyse über Regionen hinweg, 3) medizinische Interpretation und 4) Berichterstellung. Zunächst verwenden wir einen Bildencoder zur Merkmalsextraktion, vergleichbar mit der ersten visuellen Einschätzung durch einen Radiologen. Anschließend steigern wir die Erkennungsfähigkeit des Bildencoders durch die Analyse von Bildern und Berichten aus verschiedenen Regionen, was dem Lernprozess von Radiologen nachahmt, bei dem Erfahrung aus vorherigen Fällen gewonnen und die fachliche Kompetenz kontinuierlich verbessert wird. Drittens integrieren wir, wie Radiologen ihre Fachkenntnisse einsetzen, um Bilder zu interpretieren, radiologisches Wissen über mehrere anatomische Regionen, um die Merkmale klinisch fundiert weiterzuanalysieren. Schließlich generieren wir Berichte basierend auf medizinisch informierten Merkmalen mittels eines typischen autoregressiven Textdecoders. Sowohl natürlichsprachliche Generierungsmetriken (NLG) als auch klinische Wirksamkeitsmetriken belegen die Wirksamkeit von X-RGen auf sechs Röntgendatensätzen. Unser Code und die Modellcheckpoint sind unter folgender Adresse verfügbar: https://github.com/YtongXie/X-RGen.