HyperAIHyperAI

Command Palette

Search for a command to run...

Energiemäßiges Lernen für die Generierung von Szenengraphen

Mohammed Suhail Abhay Mittal Behjat Siddiquie Chris Broaddus Jayan Eledath Gerard Medioni Leonid Sigal

Zusammenfassung

Traditionelle Ansätze zur Generierung von Szenengraphen werden mit Cross-Entropy-Loss-Funktionen trainiert, die Objekte und Beziehungen als unabhängige Entitäten behandeln. Diese Formulierung ignoriert jedoch die Struktur im Ausgaberaum, obwohl es sich bei der Aufgabe um ein inhärent strukturiertes Vorhersageproblem handelt. In dieser Arbeit stellen wir einen neuartigen energiebasierten Lernrahmen zur Generierung von Szenengraphen vor. Die vorgeschlagene Formulierung ermöglicht eine effiziente Berücksichtigung der Struktur von Szenengraphen im Ausgaberaum. Dieser zusätzliche Constraint im Lernrahmen wirkt als induktiver Bias und ermöglicht es Modellen, effizient mit einer geringen Anzahl an Labels zu lernen. Wir verwenden den vorgeschlagenen energiebasierten Rahmen, um bestehende State-of-the-Art-Modelle zu trainieren und erreichen dabei eine signifikante Leistungssteigerung von bis zu 21 % und 27 % auf den Benchmark-Datensätzen Visual Genome und GQA, jeweils. Zudem demonstrieren wir die Lerneffizienz des vorgeschlagenen Rahmens durch überlegene Ergebnisse in Zero- und Few-Shot-Szenarien, in denen Daten knapp sind.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp