Energiemäßiges Lernen für die Generierung von Szenengraphen

Traditionelle Ansätze zur Generierung von Szenengraphen werden mit Cross-Entropy-Loss-Funktionen trainiert, die Objekte und Beziehungen als unabhängige Entitäten behandeln. Diese Formulierung ignoriert jedoch die Struktur im Ausgaberaum, obwohl es sich bei der Aufgabe um ein inhärent strukturiertes Vorhersageproblem handelt. In dieser Arbeit stellen wir einen neuartigen energiebasierten Lernrahmen zur Generierung von Szenengraphen vor. Die vorgeschlagene Formulierung ermöglicht eine effiziente Berücksichtigung der Struktur von Szenengraphen im Ausgaberaum. Dieser zusätzliche Constraint im Lernrahmen wirkt als induktiver Bias und ermöglicht es Modellen, effizient mit einer geringen Anzahl an Labels zu lernen. Wir verwenden den vorgeschlagenen energiebasierten Rahmen, um bestehende State-of-the-Art-Modelle zu trainieren und erreichen dabei eine signifikante Leistungssteigerung von bis zu 21 % und 27 % auf den Benchmark-Datensätzen Visual Genome und GQA, jeweils. Zudem demonstrieren wir die Lerneffizienz des vorgeschlagenen Rahmens durch überlegene Ergebnisse in Zero- und Few-Shot-Szenarien, in denen Daten knapp sind.