Spatio-temporales Graph-Neurales Netzwerk basierte Maske-Rekonstruktion für Videoobjektsegmentierung

Dieses Papier behandelt die Aufgabe der Segmentierung von Klassen-unabhängigen Objekten in einem semi-überwachten Szenario. Obwohl frühere detektionsbasierte Methoden relativ gute Ergebnisse erzielen, extrahieren diese Ansätze das beste Vorschlagselement durch eine gierige Strategie, wodurch lokale Patch-Details außerhalb des ausgewählten Kandidaten verloren gehen können. In diesem Artikel schlagen wir ein neues räumlich-zeitliches Graph-Neurales Netzwerk (STG-Net) vor, um für die Video-Objekt-Segmentierung genauere Masken zu rekonstruieren. Dieses Netzwerk nutzt alle Vorschläge, um lokale Kontexte zu erfassen. Im räumlichen Graph betrachten wir die Objektvorschläge eines Frames als Knoten und repräsentieren ihre Korrelationen durch eine Kantengewichtungsstrategie zur Aggregation des Maske-Kontexts. Um zeitliche Informationen aus früheren Frames zu erfassen, verwenden wir ein Memory Network, um die Maske des aktuellen Frames durch Abrufen historischer Masken in einem zeitlichen Graph zu verfeinern. Die gemeinsame Nutzung sowohl lokaler Patch-Details als auch zeitlicher Beziehungen ermöglicht es uns, Herausforderungen wie Objektverdeckung und -verlust besser zu bewältigen. Ohne Online-Lernen und Feinabstimmung erreicht unser STG-Net den Stand der Technik auf vier großen Benchmarks (DAVIS, YouTube-VOS, SegTrack-v2 und YouTube-Objects), was die Effektivität des vorgeschlagenen Ansatzes unterstreicht.