Die Wiederherstellung unverzerrter Szenengraphen aus verzerrten Szenengraphen

Bei gegebenen Eingabebildern zielt die Szengraphenerzeugung (SGG) darauf ab, umfassende, grafische Darstellungen zu erstellen, die visuelle Beziehungen zwischen prominenten Objekten beschreiben. Kürzlich wurden verstärkte Bemühungen unternommen, das Long-Tail-Problem in der SGG anzugehen; jedoch wird das Ungleichgewicht in den Anteilen fehlender Labels verschiedener Klassen, oder Berichtsverzerrung, selten berücksichtigt und kann durch die vorhandenen Entverzerrungsmethoden nicht gelöst werden. In dieser Arbeit zeigen wir, dass aufgrund der fehlenden Labels die SGG als ein "Learning from Positive and Unlabeled Data" (Lernen aus positiven und unlabeled Daten, PU-Lernen) Problem betrachtet werden kann, bei dem die Berichtsverzerrung durch die Wiederherstellung unverzerrter Wahrscheinlichkeiten aus den verzerrten mithilfe von Labelhäufigkeiten entfernt werden kann. Dabei handelt es sich um den Anteil an gelabelten, positiven Beispielen pro Klasse in allen positiven Beispielen. Um genaue Schätzungen der Labelhäufigkeiten zu erhalten, schlagen wir eine dynamische Methode zur Schätzung der Labelhäufigkeiten vor: Dynamic Label Frequency Estimation (DLFE). Diese nutzt Trainingszeit-Datenaugmentierung und durchschnittliche Werte über mehrere Trainingsiterationen, um mehr gültige Beispiele einzuführen. Ausführliche Experimente zeigen, dass DLFE effektiver ist als eine naive Variante der traditionellen Schätzung bei der Bestimmung von Labelhäufigkeiten und dass DLFE das Long-Tail-Problem erheblich lindert sowie state-of-the-art Entverzerrungsleistung auf dem VG-Datensatz erreicht. Wir demonstrieren auch qualitativ, dass SGG-Modelle mit DLFE deutlich ausgeglichene und weniger verzerrte Szengraphen erzeugen.