GEBNet: Graph-Enhancement Branch Network für die RGB-T-Szenenanalyse

Die Szenenanalyse in RGB-T (rot-grün-blau und thermisch) hat in letzter Zeit erhebliche Forschungsinteressen geweckt. Obwohl bestehende Methoden die RGB-T-Szenenanalyse effizient durchführen, bleibt ihre Leistung durch einen geringen Empfangsfeldbereich eingeschränkt. Im Gegensatz zu Verfahren, die den globalen Kontext durch die Fusion multiskaliger Merkmale oder durch den Einsatz von Aufmerksamkeitsmechanismen erfassen, schlagen wir ein Graph-Enhancement-Branch-Netzwerk (GEBNet) vor, das langreichweitige Abhängigkeiten aus dem Branch zur Feinabstimmung einer groben semantischen Karte, die vom Decoder generiert wurde, nutzt. In der Graph-Enhancement-Branch sind semantische und Detailmodule integriert, die hoch- und niederwertige Merkmale fusionieren. Darüber hinaus lassen sich durch die Fähigkeit von Graph-Neural-Networks, den globalen Kontext zu erfassen, ein neuartiger Graph-Enhancement-Modul in den Netzwerkzweig integrieren, um globale Informationen sowohl aus hochwertigen semantischen Informationen als auch aus niedrigwertigen Details zu gewinnen. Ergebnisse aus umfangreichen Experimenten auf den Datensätzen MFNet und PST900 belegen die hohe Leistungsfähigkeit des vorgeschlagenen GEBNet sowie die Beiträge seiner zentralen Komponenten zur Szenenanalyseleistung.