Command Palette
Search for a command to run...
RFNet: Region-Aware Fusion Network für die unvollständige multi-modale Gehirntumorsegmentierung
RFNet: Region-Aware Fusion Network für die unvollständige multi-modale Gehirntumorsegmentierung
Yi Yang Xin Yu Yuhang Ding
Zusammenfassung
Die meisten bestehenden Methoden zur Segmentierung von Gehirntumoren nutzen üblicherweise multimodale magnetresonanztomographische (MRI) Bilder, um eine hohe Segmentierungsgenauigkeit zu erzielen. In der klinischen Praxis tritt jedoch häufig das Problem auf, dass bestimmte Modaltitäten fehlen, was zu einer erheblichen Verschlechterung der Segmentierungsergebnisse führt. In dieser Arbeit stellen wir ein Region-aware Fusion Network (RFNet) vor, das in der Lage ist, unterschiedliche Kombinationen multimodaler Daten adaptiv und effektiv für die Tumorsegmentierung zu nutzen. Da verschiedene Modaltitäten unterschiedliche Empfindlichkeit gegenüber verschiedenen Regionen von Gehirntumoren aufweisen, entwickeln wir in RFNet ein Region-aware Fusion Module (RFM), das die Fusions von Modalfunktionen aus verfügbaren Bildmodaltitäten je nach Region durchführt. Durch die Verwendung des RFM kann RFNet adaptiv Tumorgebiete aus einer unvollständigen Menge multimodaler Bilder effektiv segmentieren, indem es die Modalfunktionen effizient aggregiert. Darüber hinaus entwickeln wir auch einen auf Segmentierung basierenden Regularisierer, um zu verhindern, dass RFNet aufgrund unvollständiger multimodaler Daten unzureichend und unbalanciert trainiert wird. Konkret erhalten wir neben den Segmentierungsergebnissen aus den gefussten Modalfunktionen auch die Segmentierung jeder einzelnen Bildmodaltität aus den entsprechenden kodierten Funktionen. Auf diese Weise wird jeder Modalenkoder gezwungen, diskriminative Merkmale zu lernen, wodurch die Repräsentationsfähigkeit der gefussten Merkmale verbessert wird. Bemerkenswerterweise zeigen umfangreiche Experimente auf den Datensätzen BRATS2020, BRATS2018 und BRATS2015, dass unser RFNet die derzeitigen State-of-the-Art-Methoden signifikant übertrifft.