Korrektur verrauschter Labels mit sequentieller A-priori-Information: Lernen der multi-skalierten zeitlichen Merkmalsaffinität für eine robuste Videosegmentierung

Probleme mit verrauschten Labels sind unvermeidlich im Bereich der medizinischen Bildsegmentierung und führen zu erheblichen Leistungsabfallen. Vorherige Segmentierungsverfahren für Probleme mit verrauschten Labels nutzten nur ein einzelnes Bild, während das Potenzial der Ausnutzung der Korrelation zwischen Bildern vernachlässigt wurde. Insbesondere bei der Video-Segmentierung enthalten benachbarte Frames reichhaltige kontextuelle Informationen, die hilfreich sind bei der Erkennung von verrauschten Labels. Auf Basis dieser beiden Erkenntnisse schlagen wir einen Multi-Skalen-Zeitlichen Merkmalsaffinität-Lernrahmen (MS-TFAL) vor, um Probleme der medizinischen Video-Segmentierung mit verrauschten Labels zu lösen. Zunächst argumentieren wir, dass die sequentielle A-priori-Information von Videos eine effektive Referenz darstellt, d.h., Pixel-Level-Merkmale aus benachbarten Frames liegen für dieselbe Klasse näher beieinander und weiter entfernt voneinander für verschiedene Klassen. Deshalb wurde das Zeitliche Merkmalsaffinität-Lernen (TFAL) entwickelt, um potenziell verrauschte Labels durch die Bewertung der Affinität zwischen den Pixeln in zwei benachbarten Frames zu identifizieren. Wir bemerken auch, dass die Rauschverteilung erhebliche Variationen auf Video-, Bild- und Pixel-Ebene aufweist. Daher führen wir das Multi-Skalen-Überwachung (MSS) ein, um das Netzwerk aus drei verschiedenen Perspektiven durch Neugewichtung und Verfeinerung der Samples zu überwachen. Diese Gestaltung ermöglicht es dem Netzwerk, sich in einem Schritt von grob zu fein auf saubere Samples zu konzentrieren. Experimente sowohl mit synthetischem als auch mit realweltlichem Label-Rauschen zeigen, dass unsere Methode jüngste robuste Segmentierungsansätze des Standes der Technik übertrifft. Der Quellcode ist unter https://github.com/BeileiCui/MS-TFAL verfügbar.