HistGen: Generierung von Histopathologieberichten durch lokale-globale Merkmalskodierung und multimodale Kontextinteraktion

Die Histopathologie dient als Goldstandard in der Krebsdiagnostik, wobei klinische Berichte für die Interpretation und das Verständnis dieses Prozesses von entscheidender Bedeutung sind und die Krebstherapie sowie die Patientenversorgung leiten. Die Automatisierung der Erstellung histopathologischer Berichte durch Deep Learning hat das Potenzial, die klinische Effizienz erheblich zu steigern und den arbeitsintensiven, zeitaufwendigen Aufwand der Pathologen bei der Berichterstellung zu reduzieren. Im Streben nach diesem Fortschritt stellen wir HistGen vor, ein Framework, das durch mehrfache Instanzlernen (Multiple Instance Learning) gestärkt ist und zusammen mit dem ersten Benchmark-Datensatz zur Bewertung entwickelt wurde. Inspiriert von diagnostischen und berichterstellenden Arbeitsabläufen verfügt HistGen über zwei sorgfältig konzipierte Module, die darauf abzielen, die Berichterstellung durch die Ausrichtung von ganzen Gleitbildern (Whole Slide Images, WSIs) und diagnostischen Berichten sowohl auf lokaler als auch auf globaler Granularität zu verbessern. Um dies zu erreichen, wurde ein lokal-globales hierarchisches Encoder-Modell entwickelt, das eine effiziente visuelle Merkmalsextraktion aus einer Region-zu-Gleitbild-Perspektive ermöglicht. Gleichzeitig wird ein multimodales Kontextmodul vorgeschlagen, um explizit die Ausrichtung und Interaktion zwischen verschiedenen Modalitäten zu fördern und somit erfolgreich die Lücke zwischen den umfangreichen visuellen Sequenzen der WSIs und den entsprechenden hochgradig zusammengefassten Berichten zu schließen. Experimentelle Ergebnisse zur Erstellung von WSI-Berichten zeigen, dass das vorgeschlagene Modell deutlich besser abschneidet als state-of-the-art (SOTA)-Modelle. Darüber hinaus demonstrieren die Ergebnisse des Feinabstimmens unseres Modells auf Aufgaben der Krebsuntertypisierung und Überlebensanalyse eine überlegene Leistung im Vergleich zu SOTA-Methoden, was starke Transfer-Lernfähigkeiten belegt. Der Datensatz, die Modellgewichte und der Quellcode sind unter https://github.com/dddavid4real/HistGen verfügbar.