CogTree: Cognition Tree Loss für die unverzerrte Generierung von Szenengraphen

Szene-Graphen sind semantische Abstraktionen von Bildern, die visuelles Verständnis und Schließen fördern. Allerdings ist die Leistung der Szene-Graph-Erzeugung (SGG) in realen Szenarien unzufriedenstellend, wenn sie mit verfälschten Daten konfrontiert wird. Traditionelle Debiasing-Forschung untersucht das Problem hauptsächlich aus der Perspektive des Ausgleichs der Datenverteilung oder des Lernens unverfälschter Modelle und Darstellungen, wobei die Korrelationen zwischen den verfälschten Klassen vernachlässigt werden. In dieser Arbeit analysieren wir das Problem aus einer neuen kognitiven Perspektive: automatisches Aufbauen einer hierarchischen kognitiven Struktur aus den verfälschten Vorhersagen und Navigation durch diese Hierarchie, um Beziehungen zu lokalisieren, sodass die seltenen Beziehungen im Grob-zu-Fein-Modus mehr Aufmerksamkeit erhalten. Zu diesem Zweck schlagen wir einen neuen Debiasing-Kognitionbaum (CogTree)-Verlust für eine unverfälschte SGG vor. Wir bauen zunächst einen kognitiven Strukturbaum CogTree auf, um die Beziehungen basierend auf den Vorhersagen eines verfälschten SGG-Modells zu organisieren. Der CogTree unterscheidet zunächst erheblich verschiedene Beziehungen und konzentriert sich dann auf einen kleinen Teil leicht zu verwechselnder Beziehungen. Anschließend entwickeln wir einen speziellen Debiasing-Verlust für diese kognitive Struktur, der eine Grob-zu-Fein-Differenzierung für die korrekten Beziehungen unterstützt. Der Verlust ist modellagnostisch und verbessert die Leistung mehrerer state-of-the-art-Modelle kontinuierlich. Der Code ist unter folgendem Link verfügbar: https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.