Verbesserung der visuellen Beziehungsdetektion durch Tiefenkarten

Methoden zur Erkennung visueller Beziehungen basieren auf Objektinformationen, die aus RGB-Bildern extrahiert werden, wie zum Beispiel 2D-Bounding-Boxen, Feature Maps und vorhergesagte Klassifikationswahrscheinlichkeiten. Wir argumentieren, dass Tiefenkarten zusätzliche wertvolle Informationen zu Objektbeziehungen liefern können, z.B. indem sie nicht nur räumliche Beziehungen wie "hintereinander stehen" erkennen helfen, sondern auch nicht-räumliche Beziehungen wie "halten". In dieser Arbeit untersuchen wir den Einfluss der Verwendung verschiedener Objektmerkmale unter besonderer Berücksichtigung von Tiefenkarten. Um diese Untersuchung zu ermöglichen, veröffentlichen wir einen neuen synthetischen Datensatz von Tiefenkarten, VG-Depth, als Erweiterung des Visual Genome (VG). Wir weisen auch darauf hin, dass die stark ungleichmäßige Verteilung der Beziehungen in VG typische Evaluationsmetriken für die Erkennung visueller Beziehungen Verbesserungen bei unterrepräsentierten Beziehungen nicht aufdecken können. Um dieses Problem anzugehen, schlagen wir eine zusätzliche Metrik vor, die wir Makro Recall@K nennen, und demonstrieren ihre bemerkenswerte Leistungsfähigkeit auf VG. Schließlich bestätigen unsere Experimente, dass durch effektive Nutzung von Tiefenkarten innerhalb eines einfachen, aber wettbewerbsfähigen Frameworks die Leistung der Erkennung visueller Beziehungen um bis zu 8% verbessert werden kann.