HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der visuellen Beziehungsdetektion durch Tiefenkarten

Sahand Sharifzadeh Rajat Koner Sina Moayed Baharlou Volker Tresp Max Berrendorf

Zusammenfassung

Methoden zur Erkennung visueller Beziehungen basieren auf Objektinformationen, die aus RGB-Bildern extrahiert werden, wie zum Beispiel 2D-Bounding-Boxen, Feature Maps und vorhergesagte Klassifikationswahrscheinlichkeiten. Wir argumentieren, dass Tiefenkarten zusätzliche wertvolle Informationen zu Objektbeziehungen liefern können, z.B. indem sie nicht nur räumliche Beziehungen wie "hintereinander stehen" erkennen helfen, sondern auch nicht-räumliche Beziehungen wie "halten". In dieser Arbeit untersuchen wir den Einfluss der Verwendung verschiedener Objektmerkmale unter besonderer Berücksichtigung von Tiefenkarten. Um diese Untersuchung zu ermöglichen, veröffentlichen wir einen neuen synthetischen Datensatz von Tiefenkarten, VG-Depth, als Erweiterung des Visual Genome (VG). Wir weisen auch darauf hin, dass die stark ungleichmäßige Verteilung der Beziehungen in VG typische Evaluationsmetriken für die Erkennung visueller Beziehungen Verbesserungen bei unterrepräsentierten Beziehungen nicht aufdecken können. Um dieses Problem anzugehen, schlagen wir eine zusätzliche Metrik vor, die wir Makro Recall@K nennen, und demonstrieren ihre bemerkenswerte Leistungsfähigkeit auf VG. Schließlich bestätigen unsere Experimente, dass durch effektive Nutzung von Tiefenkarten innerhalb eines einfachen, aber wettbewerbsfähigen Frameworks die Leistung der Erkennung visueller Beziehungen um bis zu 8% verbessert werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp