Strukturelle Entitätenextraktion und Integration von Patientenindikationen für die Erstellung von Brust-röntgenberichten

Die automatisierte Erstellung von Bildberichten erweist sich als unschätzbare Hilfe bei der Entlastung der Arbeitsbelastung von Radiologen. Ein klinisch anwendbarer Berichtserstellungsalgorithmus sollte seine Effektivität darin zeigen, Berichte zu erstellen, die radiologische Befunde korrekt beschreiben und auf patientenspezifische Indikationen eingehen. In dieser Arbeit stellen wir eine neue Methode vor: Strukturelle Entitäten-Extraktion und Integration von Patientenindikationen (SEI) für die Erstellung von Brust-Röntgenberichten. Insbesondere verwenden wir einen Ansatz zur Strukturierung der Entitäten-Extraktion (SEE), um präsentationsorientierte Vokabularien in den Berichten zu eliminieren und die Qualität faktischer Entitätenfolgen zu verbessern. Dies reduziert das Rauschen im nachfolgenden modalkreuzenden Ausrichtungsmodul, indem es Röntgenbilder mit faktischen Entitätenfolgen in den Berichten ausrichtt, wodurch die Präzision des modalkreuzenden Ausrichtens gesteigert wird und das Modell bei der gradientenfreien Rückgewinnung ähnlicher historischer Fälle unterstützt wird. Anschließend schlagen wir ein modalkreuzendes Fusionsnetzwerk vor, um Informationen aus Röntgenbildern, ähnlichen historischen Fällen und patientenspezifischen Indikationen zu integrieren. Dies ermöglicht es dem Textdekoder, diskriminierende Merkmale von Röntgenbildern zu berücksichtigen, historische diagnostische Informationen aus ähnlichen Fällen zu verarbeiten und die Untersuchungsabsicht der Patienten zu verstehen. Dies wiederum hilft dabei, den Textdekoder dazu anzuregen, hochwertige Berichte zu erstellen. Experimente am MIMIC-CXR-Datensatz bestätigen die Überlegenheit von SEI gegenüber den neuesten Ansätzen sowohl in Bezug auf natürlichsprachliche Generierung als auch auf klinische Effizienzmaße.