HyperAIHyperAI

Command Palette

Search for a command to run...

Adaptive Bindungsprototypen zur Segmentierung von generalisierten referierenden Ausdrücken bringen

Weize Li Zhicheng Zhao Haochen Bai Fei Su

Zusammenfassung

Die Referring Expression Segmentation (RES) hat in letzter Zeit zunehmend an Bedeutung gewonnen, wobei das Ziel darin besteht, Objekte auf der Grundlage natürlicher Sprachausdrücke zu identifizieren und zu segmentieren. Obwohl bei RES erhebliche Fortschritte gemacht wurden, führt die Einführung der Generalized Referring Expression Segmentation (GRES) neue Herausforderungen mit sich, indem sie es ermöglicht, dass Ausdrücke mehrere Objekte beschreiben oder keine spezifischen Objektbezugnahmen enthalten.Bestehende RES-Methoden basieren in der Regel auf komplexen Encoder-Decoder-Architekturen und Merkmalsfusionmodulen und haben Schwierigkeiten, Klassenprototypen zu generieren, die jeder Instanz einzeln entsprechen, wenn sie den komplexen Referenten und binären Labels von GRES gegenüberstehen. In dieser Arbeit, bei der die Unterschiede zwischen RES und GRES neu evaluiert werden, schlagen wir ein neues Modell mit adaptiven Bindungsprototypen (MABP) vor. Dieses Modell bindet Anfragen adaptiv an Objektmerkmale im entsprechenden Bereich. Es ermöglicht verschiedene Abfragevektoren, Instanzen verschiedener Kategorien oder unterschiedliche Teile derselben Instanz zuzuordnen, was die Flexibilität des Decoders erheblich erhöht, den globalen Druck über alle Anfragen verteilt und die Anforderungen an den Encoder erleichtert.Experimentelle Ergebnisse zeigen, dass MABP in allen drei Aufteilungen des gRefCOCO-Datensatzes erheblich bessere Leistungen als state-of-the-art-Methoden erzielt. Gleichzeitig übertrifft MABP auch state-of-the-art-Methoden auf den Datensätzen RefCOCO+ und G-Ref und erreicht sehr wettbewerbsfähige Ergebnisse auf RefCOCO.Der Quellcode ist unter https://github.com/buptLwz/MABP verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Adaptive Bindungsprototypen zur Segmentierung von generalisierten referierenden Ausdrücken bringen | Paper | HyperAI