HyperAIHyperAI

Command Palette

Search for a command to run...

CogTree: Cognition Tree Loss für die unverzerrte Generierung von Szenengraphen

Jing Yu extsuperscript1 extsuperscript*† Yuan Chai extsuperscript2 extsuperscript* Yujing Wang extsuperscript3 Yue Hu extsuperscript1 Qi Wu extsuperscript4

Zusammenfassung

Szene-Graphen sind semantische Abstraktionen von Bildern, die visuelles Verständnis und Schließen fördern. Allerdings ist die Leistung der Szene-Graph-Erzeugung (SGG) in realen Szenarien unzufriedenstellend, wenn sie mit verfälschten Daten konfrontiert wird. Traditionelle Debiasing-Forschung untersucht das Problem hauptsächlich aus der Perspektive des Ausgleichs der Datenverteilung oder des Lernens unverfälschter Modelle und Darstellungen, wobei die Korrelationen zwischen den verfälschten Klassen vernachlässigt werden. In dieser Arbeit analysieren wir das Problem aus einer neuen kognitiven Perspektive: automatisches Aufbauen einer hierarchischen kognitiven Struktur aus den verfälschten Vorhersagen und Navigation durch diese Hierarchie, um Beziehungen zu lokalisieren, sodass die seltenen Beziehungen im Grob-zu-Fein-Modus mehr Aufmerksamkeit erhalten. Zu diesem Zweck schlagen wir einen neuen Debiasing-Kognitionbaum (CogTree)-Verlust für eine unverfälschte SGG vor. Wir bauen zunächst einen kognitiven Strukturbaum CogTree auf, um die Beziehungen basierend auf den Vorhersagen eines verfälschten SGG-Modells zu organisieren. Der CogTree unterscheidet zunächst erheblich verschiedene Beziehungen und konzentriert sich dann auf einen kleinen Teil leicht zu verwechselnder Beziehungen. Anschließend entwickeln wir einen speziellen Debiasing-Verlust für diese kognitive Struktur, der eine Grob-zu-Fein-Differenzierung für die korrekten Beziehungen unterstützt. Der Verlust ist modellagnostisch und verbessert die Leistung mehrerer state-of-the-art-Modelle kontinuierlich. Der Code ist unter folgendem Link verfügbar: https://github.com/CYVincent/Scene-Graph-Transformer-CogTree.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp