Kontextbewusstes Interaktionsnetzwerk für RGB-T-Semantische Segmentierung

Die RGB-T-Semantische Segmentierung ist eine Schlüsseltechnik für die Szeneverstehung im autonomen Fahren. Bei den bisherigen Methoden der RGB-T-Semantischen Segmentierung wird jedoch die effektive Erforschung des komplementären Verhältnisses zwischen verschiedenen Modalitäten nicht in der Informationsinteraktion auf mehreren Ebenen umgesetzt. Um dieses Problem zu lösen, wurde das Kontextbewusste Interaktionsnetzwerk (CAINet) vorgeschlagen, das einen Interaktionsraum konstruiert, um Nebenaufgaben und den globalen Kontext für eine explizit geführte Lernmethode auszuwerten. Insbesondere schlagen wir ein Modul zur kontextbewussten komplementären Inferenz (CACR) vor, das darauf abzielt, das komplementäre Verhältnis zwischen multimodalen Merkmalen mit dem langfristigen Kontext in räumlicher und kanalbasierter Dimension herzustellen. Darüber hinaus berücksichtigen wir die Bedeutung des globalen Kontexts und detaillierter Informationen und schlagen das Modul zur globalen Kontextmodellierung (GCM) sowie das Modul zur Detailaggregation (DA) vor. Wir führen spezifische Nebenaufsicht ein, um die Kontextinteraktion explizit zu leiten und die Segmentierungskarte zu verfeinern. Ausführliche Experimente auf zwei Benchmark-Datensätzen, MFNet und PST900, zeigen, dass das vorgeschlagene CAINet Spitzenleistungen erzielt. Der Code ist unter https://github.com/YingLv1106/CAINet verfügbar.