Fernerkundungsbasierte abstrakte Text-Bild-Recherche auf der Grundlage globaler und lokaler Informationen
Die Kreuzmodale Fernerkundungs-Text-Bild-Retrieval (RSCTIR) ist aufgrund ihrer Fähigkeit, schnelle und flexible Informationsgewinnung aus Fernerkundungsbildern zu ermöglichen, in letzter Zeit zu einem dringenden Forschungsschwerpunkt geworden. Allerdings konzentrieren sich aktuelle RSCTIR-Methoden hauptsächlich auf globale Merkmale von Fernerkundungsbildern, wodurch lokale Merkmale, die Beziehungen zwischen Objekten und Aufmerksamkeitsmerkmale (Saliency) widerspiegeln, vernachlässigt werden. In diesem Artikel stellen wir erstmals einen neuartigen RSCTIR-Framework basierend auf globalen und lokalen Informationen (GaLR) vor und entwerfen ein mehrstufiges dynamisches Informationsfusionssystem (MIDF), um Merkmale unterschiedlicher Ebenen effektiv zu integrieren. Das MIDF nutzt lokale Informationen, um globale Informationen zu korrigieren, nutzt globale Informationen, um lokale Informationen zu ergänzen, und generiert durch dynamische Addition beider Informationen eine herausragende visuelle Repräsentation. Um die Belastung durch redundante Objekte im Graphen-Konvolutionssnetzwerk (GCN) zu verringern und die Aufmerksamkeit des Modells auf auffällige Instanzen bei der Modellierung lokaler Merkmale zu verbessern, wird die de-noisierte Repräsentationsmatrix und die verbesserte Adjazenzmatrix (DREA) vorgeschlagen, um dem GCN bei der Erzeugung überlegener lokaler Repräsentationen zu helfen. DREA filtert nicht nur redundante Merkmale mit hoher Ähnlichkeit heraus, sondern stärkt zudem die Merkmale auffälliger Objekte, um leistungsfähigere lokale Merkmale zu erzielen. Schließlich wird ein plug-and-play-algorithmus für multivariate Neurangierung (MR) entwickelt, um die Informationen in der Ähnlichkeitsmatrix während der Inferenz optimal auszunutzen. Der Algorithmus führt eine Rückwärtsrecherche mithilfe der k-Nächsten-Nachbarn der Retrieval-Ergebnisse durch und verbessert die Leistung durch die Kombination mehrerer Komponenten der bidirektionalen Suche. Umfangreiche Experimente auf öffentlichen Datensätzen belegen eindeutig die führende Leistungsfähigkeit des GaLR-Verfahrens im Bereich RSCTIR. Der Quellcode des GaLR-Verfahrens, des MR-Algorithmus sowie die entsprechenden Dateien sind unter https://github.com/xiaoyuan1996/GaLR verfügbar.