Netzwerk zur Inferenz einer bidirektionalen Beziehung für die Bezugsbildsegmentierung

Die meisten bestehenden Methoden formulieren die wechselseitige Anleitung zwischen Vision und Sprache nicht explizit. In dieser Arbeit stellen wir ein bidirektionales Beziehungsinferenznetzwerk (BRINet) vor, um die Abhängigkeiten zwischen multimodalen Informationen zu modellieren. Genauer wird die visionsgesteuerte sprachliche Aufmerksamkeit eingesetzt, um kontextadaptive sprachliche Informationen für jeweils einen visuellen Bereich zu lernen. In Kombination mit der sprachgesteuerten visuellen Aufmerksamkeit wird ein bidirektionales multimodales Aufmerksamkeitsmodul (BCAM) konstruiert, um die Beziehungen zwischen multimodalen Merkmalen zu erlernen. Dadurch kann der endgültige semantische Kontext des Zielobjekts und des Bezugsausdrucks präzise und konsistent repräsentiert werden. Zudem wird ein gattergesteuertes bidirektionales Fusionsmodul (GBFM) entworfen, um mehrstufige Merkmale zu integrieren, wobei eine Gatterfunktion zur Steuerung des bidirektionalen Flusses von mehrstufigen Informationen genutzt wird. Umfangreiche Experimente auf vier Benchmark-Datensätzen zeigen, dass die vorgeschlagene Methode unter verschiedenen Evaluationsmetriken andere state-of-the-art-Verfahren übertrifft.