Progressiv normiertes Selbst-Aufmerksamkeitsnetzwerk für die Segmentierung von Polypen in Videos

Bestehende Video-Polyp-Segmentierungsmodelle (VPS) verwenden in der Regel Faltungsneuronale Netze (CNNs), um Merkmale zu extrahieren. Aufgrund ihrer begrenzten Rezeptorfelder können CNNs jedoch die globale zeitliche und räumliche Information in aufeinanderfolgenden Videobildern nicht vollständig nutzen, was zu falsch-positiven Segmentierungsergebnissen führt. In dieser Arbeit schlagen wir das innovative PNS-Net (Progressively Normalized Self-attention Network) vor, das effizient Darstellungen aus Polypenvideos mit Echtzeitgeschwindigkeit (~140 fps) auf einer einzelnen RTX 2080 GPU und ohne Nachbearbeitung lernen kann. Unser PNS-Net basiert ausschließlich auf einem grundlegenden normierten Selbst-Aufmerksamkeitsblock und ist mit Rekurrenz und CNNs vollständig ausgestattet. Experimente an herausfordernden VPS-Datensätzen zeigen, dass das vorgeschlagene PNS-Net den aktuellen Stand der Technik erreicht. Wir führen zudem umfangreiche Experimente durch, um die Effektivität der Kanalspaltung, der Soft-Aufmerksamkeit und der progressiven Lernstrategie zu untersuchen. Wir stellen fest, dass unser PNS-Net unter verschiedenen Einstellungen gut funktioniert, was es zu einer vielversprechenden Lösung für die VPS-Aufgabe macht.