HyperAIHyperAI

Command Palette

Search for a command to run...

Hierarchisches Interaktionsnetzwerk für die Video-Objektsegmentierung aus Bezugsausdrücken

Philip Torr Hengshuang Zhao Luca Bertinetto Yansong Tang Zhao Yang

Zusammenfassung

In diesem Artikel untersuchen wir das Problem der Video-Objekt-Segmentierung aus sprachlichen Referenzen (VOSRE). Herkömmliche Ansätze führen typischerweise eine multimodale Fusion basierend auf sprachlichen Merkmalen und visuellen Merkmalen durch, die aus der obersten Schicht des visuellen Encoders extrahiert werden, was die Fähigkeit dieser Modelle einschränkt, multimodale Eingaben auf verschiedenen semantischen und räumlichen Granularitätsebenen angemessen darzustellen. Um dieses Problem zu lösen, präsentieren wir ein end-to-end hierarchisches Interaktionsnetzwerk (HINet) für das VOSRE-Problem. Unser Modell nutzt die Merkmalspyramide, die vom visuellen Encoder generiert wird, um mehrere Ebenen multimodaler Merkmale zu erzeugen. Dadurch wird eine flexiblere Darstellung verschiedener sprachlicher Konzepte (z. B. Objektmerkmale und -kategorien) auf unterschiedlichen Ebenen der multimodalen Merkmale ermöglicht. Darüber hinaus extrahieren wir Signale bewegter Objekte aus dem Optischen Fluss und nutzen diese als ergänzende Hinweise, um den Referenten hervorzuheben und den Hintergrund mittels eines Bewegungsgates zu unterdrücken. Im Gegensatz zu früheren Methoden ermöglicht dieser Ansatz Online-Vorhersagen ohne die gesamte Videoeingabe zu erfordern. Trotz seiner Einfachheit erreicht unser vorgeschlagenes HINet auf den Datensätzen DAVIS-16, DAVIS-17 und J-HMDB eine Verbesserung gegenüber dem vorherigen Stand der Technik für die VOSRE-Aufgabe und demonstriert somit seine Wirksamkeit und Allgemeingültigkeit.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp