HyperAIHyperAI

Command Palette

Search for a command to run...

Zero-Shot Video Object Segmentation mittels aufmerksamer Graph-Neural-Netzwerke

Wenguan Wang Xiankai Lu Jianbing Shen David Crandall Ling Shao

Zusammenfassung

Diese Arbeit stellt ein neuartiges aufmerksamkeitsbasiertes Graph-Neuronales Netzwerk (AGNN) für die zero-shot Video-Objekt-Segmentierung (ZVOS) vor. Das vorgeschlagene AGNN transformiert diese Aufgabe in einen Prozess der iterativen Informationsfusion über Video-Graphen. Insbesondere konstruiert AGNN einen vollständig verbundenen Graphen, um Frames effizient als Knoten und Beziehungen zwischen beliebigen Frame-Paaren als Kanten darzustellen. Die zugrundeliegenden paarweisen Beziehungen werden durch eine differenzierbare Aufmerksamkeitsmechanik beschrieben. Durch parametrisches Nachrichtenübertragungsverfahren ist AGNN in der Lage, effizient komplexere und höherwertige Beziehungen zwischen Video-Frames zu erfassen und zu erschließen, was eine umfassendere Verständnis der Videoinhalte und präzisere Schätzung des Vordergrunds ermöglicht. Experimentelle Ergebnisse auf drei Video-Segmentierungs-Datensätzen zeigen, dass AGNN in jedem Fall eine neue State-of-the-Art-Leistung erreicht. Um die Verallgemeinerungsfähigkeit unseres Frameworks weiter zu demonstrieren, erweitern wir AGNN auf eine zusätzliche Aufgabe: die Bild-Objekt-Co-Segmentierung (IOCS). Wir führen Experimente auf zwei bekannten IOCS-Datensätzen durch und beobachten erneut die Überlegenheit unseres AGNN-Modells. Die umfangreichen Experimente bestätigen, dass AGNN in der Lage ist, die zugrundeliegenden semantischen bzw. optischen Beziehungen zwischen Video-Frames oder verwandten Bildern zu lernen und gemeinsame Objekte zu erkennen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp