PointNu-Net: Keypoint-gestütztes Faltungsneuronales Netzwerk für die simultane Segmentierung und Klassifizierung von Multitissue-Histologie-Kernen

Automatische Kernsegmentierung und -klassifizierung spielen eine entscheidende Rolle in der digitalen Pathologie. Allerdings basieren die bisherigen Arbeiten in der Regel auf Daten mit begrenzter Vielfalt und kleinem Umfang, was die Ergebnisse in tatsächlichen nachgelagerten Aufgaben fragwürdig oder irreführend macht. In dieser Arbeit streben wir an, eine zuverlässige und robuste Methode zu entwickeln, die in der Lage ist, mit Daten aus dem "klinischen Wild" umzugehen. Insbesondere untersuchen und entwerfen wir eine neue Methode, die es ermöglicht, Kerne gleichzeitig zu detektieren, zu segmentieren und zu klassifizieren, ausgehend von Histopathologie-Daten, die mit Hämatoxylin und Eosin (H&E) gefärbt wurden. Wir bewerten unseren Ansatz anhand des jüngsten größten Datensatzes: PanNuke.Wir behandeln die Detektion und Klassifizierung jedes einzelnen Kerns als ein neues Problem der semantischen Keypoint-Schätzung, um den Mittelpunkt jedes Kerns zu bestimmen. Anschließend werden die entsprechenden klasseunabhängigen Masken für die Kernmittelpunkte durch dynamische Instanzsegmentierung erzeugt. Gleichzeitig schlagen wir ein neuartiges Joint Pyramid Fusion Modul (JPFM) vor, um die über Skalen hinweg bestehenden Abhängigkeiten zu modellieren. Dies verbessert das lokale Merkmal und führt somit zu einer besseren Detektion und Klassifizierung von Kernen. Durch das Trennen zweier gleichzeitig anspruchsvoller Aufgaben und das Nutzen des JPFM kann unsere Methode von klassebewusster Detektion und klasseunabhängiger Segmentierung profitieren, was einen erheblichen Leistungsanstieg zur Folge hat.Wir zeigen die überlegene Leistungsfähigkeit unseres vorgeschlagenen Ansatzes bei der Kernsegmentierung und -klassifizierung anhand von 19 verschiedenen Gewebetypen auf und liefern damit neue Benchmark-Ergebnisse.