Zero-Shot Video Object Segmentation mittels aufmerksamer Graph-Neural-Netzwerke

Diese Arbeit stellt ein neuartiges aufmerksamkeitsbasiertes Graph-Neuronales Netzwerk (AGNN) für die zero-shot Video-Objekt-Segmentierung (ZVOS) vor. Das vorgeschlagene AGNN transformiert diese Aufgabe in einen Prozess der iterativen Informationsfusion über Video-Graphen. Insbesondere konstruiert AGNN einen vollständig verbundenen Graphen, um Frames effizient als Knoten und Beziehungen zwischen beliebigen Frame-Paaren als Kanten darzustellen. Die zugrundeliegenden paarweisen Beziehungen werden durch eine differenzierbare Aufmerksamkeitsmechanik beschrieben. Durch parametrisches Nachrichtenübertragungsverfahren ist AGNN in der Lage, effizient komplexere und höherwertige Beziehungen zwischen Video-Frames zu erfassen und zu erschließen, was eine umfassendere Verständnis der Videoinhalte und präzisere Schätzung des Vordergrunds ermöglicht. Experimentelle Ergebnisse auf drei Video-Segmentierungs-Datensätzen zeigen, dass AGNN in jedem Fall eine neue State-of-the-Art-Leistung erreicht. Um die Verallgemeinerungsfähigkeit unseres Frameworks weiter zu demonstrieren, erweitern wir AGNN auf eine zusätzliche Aufgabe: die Bild-Objekt-Co-Segmentierung (IOCS). Wir führen Experimente auf zwei bekannten IOCS-Datensätzen durch und beobachten erneut die Überlegenheit unseres AGNN-Modells. Die umfangreichen Experimente bestätigen, dass AGNN in der Lage ist, die zugrundeliegenden semantischen bzw. optischen Beziehungen zwischen Video-Frames oder verwandten Bildern zu lernen und gemeinsame Objekte zu erkennen.