Adaptive Bindungsprototypen zur Segmentierung von generalisierten referierenden Ausdrücken bringen

Die Referring Expression Segmentation (RES) hat in letzter Zeit zunehmend an Bedeutung gewonnen, wobei das Ziel darin besteht, Objekte auf der Grundlage natürlicher Sprachausdrücke zu identifizieren und zu segmentieren. Obwohl bei RES erhebliche Fortschritte gemacht wurden, führt die Einführung der Generalized Referring Expression Segmentation (GRES) neue Herausforderungen mit sich, indem sie es ermöglicht, dass Ausdrücke mehrere Objekte beschreiben oder keine spezifischen Objektbezugnahmen enthalten.Bestehende RES-Methoden basieren in der Regel auf komplexen Encoder-Decoder-Architekturen und Merkmalsfusionmodulen und haben Schwierigkeiten, Klassenprototypen zu generieren, die jeder Instanz einzeln entsprechen, wenn sie den komplexen Referenten und binären Labels von GRES gegenüberstehen. In dieser Arbeit, bei der die Unterschiede zwischen RES und GRES neu evaluiert werden, schlagen wir ein neues Modell mit adaptiven Bindungsprototypen (MABP) vor. Dieses Modell bindet Anfragen adaptiv an Objektmerkmale im entsprechenden Bereich. Es ermöglicht verschiedene Abfragevektoren, Instanzen verschiedener Kategorien oder unterschiedliche Teile derselben Instanz zuzuordnen, was die Flexibilität des Decoders erheblich erhöht, den globalen Druck über alle Anfragen verteilt und die Anforderungen an den Encoder erleichtert.Experimentelle Ergebnisse zeigen, dass MABP in allen drei Aufteilungen des gRefCOCO-Datensatzes erheblich bessere Leistungen als state-of-the-art-Methoden erzielt. Gleichzeitig übertrifft MABP auch state-of-the-art-Methoden auf den Datensätzen RefCOCO+ und G-Ref und erreicht sehr wettbewerbsfähige Ergebnisse auf RefCOCO.Der Quellcode ist unter https://github.com/buptLwz/MABP verfügbar.