CapsuleVOS: Halbüberwachte Video-Objekt-Segmentierung mit Capsule-Routing

In dieser Arbeit schlagen wir einen kapselbasierten Ansatz für das semisupervisierte Video-Objekt-Segmentierungsvorgehen vor. Aktuelle Methoden zur Video-Objekt-Segmentierung sind rahmenbasiert und erfordern oft optischen Fluss, um die zeitliche Konsistenz zwischen den Frames zu erfassen, was schwierig zu berechnen sein kann. Hierfür schlagen wir ein video-basiertes Kapselnetzwerk, CapsuleVOS, vor, das mehrere Frames auf einmal segmentieren kann, vorausgesetzt ein Referenzframe und eine Segmentierungsmaske sind gegeben. Diese Bedingung wird durch einen neuartigen Routingalgorithmus für eine aufmerksamkeitsbasierte effiziente Kapselauswahl durchgeführt. Wir behandeln zwei herausfordernde Probleme bei der Video-Objekt-Segmentierung: 1) die Segmentierung kleiner Objekte und 2) die Verdeckung von Objekten über die Zeit hinweg. Das Problem der Segmentierung kleiner Objekte wird durch ein Zoom-Modul gelöst, das es dem Netzwerk ermöglicht, kleine räumliche Bereiche des Videos zu verarbeiten. Darüber hinaus nutzt der Rahmenwerk ein neuartiges Speichermodul basierend auf rekurrenten Netzen, das bei der Verfolgung von Objekten hilft, wenn diese aus dem Bild verschwinden oder verdeckt werden. Das Netzwerk wird end-to-end trainiert und wir zeigen seine Effektivität anhand zweier Benchmark-Datensätze zur Video-Objekt-Segmentierung; es übertrifft aktuelle Offline-Ansätze im Youtube-VOS-Datensatz und hat gleichzeitig eine Laufzeit, die fast doppelt so schnell ist wie vergleichbare Methoden. Der Code ist öffentlich verfügbar unter https://github.com/KevinDuarte/CapsuleVOS.