Kausalitätskompensierte Aufmerksamkeit für kontextuell verzerrte visuelle Erkennung

Visuelle Aufmerksamkeit erfasst nicht immer die essenziellen Objektrepräsentationen, die für robuste Vorhersagen erforderlich sind. Aufmerksamkeitsmodule neigen dazu, nicht nur das Zielobjekt, sondern auch den häufig gemeinsam auftretenden Kontext hervorzuheben, den das Modul während des Trainings für hilfreich hält. Das Problem wurzelt in der verfälschenden Wirkung des Kontexts, die zu falschen kausalen Beziehungen zwischen Objekten und Vorhersagen führt und durch visuelle Aufmerksamkeit zusätzlich verstärkt wird. In diesem Paper schlagen wir ein neuartiges Aufmerksamkeitsmodul namens Interventional Dual Attention (IDA) für die visuelle Erkennung vor, um kausale Objektmerkmale zu lernen, die robust gegenüber kontextuellen Verzerrungen sind. Konkret verwendet IDA zwei Aufmerksamkeitslagen mit mehrfacher Stichprobenintervention, wodurch die Aufmerksamkeit gegen den störenden Kontext abgeglichen wird. Es sei darauf hingewiesen, dass unsere Methode modellunabhängig ist und somit auf verschiedenen Backbone-Architekturen implementiert werden kann. Ausführliche Experimente zeigen, dass unser Modell sowohl bei Klassifikation als auch bei Detektion signifikante Verbesserungen erzielt, wobei der Rechenaufwand geringer bleibt. Insbesondere erreichen wir state-of-the-art Ergebnisse bei der Mehrfach-Klassifikation auf MS-COCO und PASCAL-VOC.