SALI: Netzwerk für kurzfristige Ausrichtung und langfristige Interaktion zur Segmentierung von Polypen in Koloskopie-Videos

Koloskopie-Videos bieten reichere Informationen für die Polypensegmentierung bei der Diagnose von Rektumkarzinom. Allerdings führen die schnelle Bewegungen und das genaue Beobachten des Endoskops zu erheblichen räumlichen Inkohärenzen und fortlaufenden Frames von geringer Qualität, was die Genauigkeit der aktuellen Segmentierungsverfahren einschränkt. In diesem Kontext konzentrieren wir uns auf eine robuste Video-Polypensegmentierung durch die Verbesserung der Nachbarschaftsmerkmalskonsistenz und den Neuaufbau einer verlässlichen Polypendarstellung. Um dieses Ziel zu erreichen, schlagen wir in dieser Arbeit das SALI-Netzwerk vor, eine Kombination aus dem Short-term Alignment Modul (SAM) und dem Long-term Interaction Modul (LIM). Das SAM lernt räumlich ausgerichtete Merkmale benachbarter Frames mittels deformierbarer Faltungen und harmonisiert diese weiter, um eine stabilere kurzfristige Polypendarstellung zu erfassen. Bei Frames von geringer Qualität speichert das LIM historische Polypendarstellungen als langfristigen Speicherbank und untersucht retrospektive Beziehungen, um interaktiv zuverlässigere Polypen-Merkmale für die aktuelle Segmentierung neu aufzubauen. Die Kombination von SAM und LIM zeigt, dass das SALI-Netzwerk für die Video-Segmentierung eine ausgezeichnete Robustheit gegenüber räumlichen Variationen und schwachen visuellen Hinweisen aufweist. Eine Benchmarkevaluation anhand des groß angelegten SUNSEG-Datensatzes bestätigt die Überlegenheit des SALI im Vergleich zu den aktuellen Stand der Technik-Verfahren durch Verbesserungen des Dice-Koeffizienten um 2,1 %, 2,5 %, 4,1 % und 1,9 % für die vier Testuntermengen jeweils. Der Quellcode ist unter https://github.com/Scatteredrain/SALI verfügbar.