TSFD-Net: Tissue-spezifisches Merkmalsdistillation-Netzwerk für die Segmentierung und Klassifizierung von Zellkernen

Die Segmentierung und Klassifizierung von Zellkernen in hämatoxylin- und eosin-färbten Histologiebildern stellt aufgrund verschiedener Herausforderungen eine schwierige Aufgabe dar, darunter Farbinhomogenität, die durch ungleichmäßige manuelle Färbvorgänge entsteht, Kernklusterung sowie verschwommene und überlappende Kernränder. Bestehende Ansätze zur Kernsegmentierung basieren entweder auf der Darstellung der Kerne mittels Polygonzüge oder auf der Messung der Abstände zwischen den Kernzentroiden. Im Gegensatz dazu nutzen wir die Tatsache, dass morphologische Merkmale (Erscheinungsbild, Form und Textur) von Zellen in Geweben je nach Gewebetyp erheblich variieren. Wir nutzen diese Information, indem wir gewebespezifische (TS) Merkmale aus Roh-Histopathologiebildern mittels des vorgeschlagenen Gewebespezifischen Merkmals-Distillationsschritts (TSFD) extrahieren. Das bidirektionale Merkmalspyramiden-Netzwerk (BiFPN) innerhalb des TSFD-Netzwerks erzeugt eine robuste hierarchische Merkmalspyramide unter Verwendung dieser TS-Merkmale, wobei die miteinander verketteten Dekoder gemeinsam diese Merkmale optimieren und fusionieren, um schließlich präzise Vorhersagen zu generieren. Zudem schlagen wir eine neuartige kombinierte Verlustfunktion vor, die eine gemeinsame Optimierung und eine beschleunigte Konvergenz unseres Netzwerks ermöglicht. Um die Wirksamkeit jedes einzelnen Komponenten des TSFD-Netzwerks zu validieren, wurden umfangreiche Ablationsstudien durchgeführt. Das vorgeschlagene Netzwerk übertrifft state-of-the-art-Modelle wie StarDist, Micro-Net, Mask-RCNN, Hover-Net und CPP-Net auf dem PanNuke-Datensatz, der 19 verschiedene Gewebetypen und fünf klinisch relevante Tumorklassen umfasst, und erreicht eine durchschnittliche Panoptische Qualität von 50,4 % und eine binäre Panoptische Qualität von 63,77 %.