PCPL: Lernen der Prädikat-Korrelations-Wahrnehmung für eine unverzerrte Szene-Graph-Generierung

Heutzutage ist die Aufgabe der Szengraphenerstellung (SGG) weitgehend auf realistische Szenarien beschränkt, hauptsächlich aufgrund des extrem langschwänzigen Verzerrungsproblems in der Verteilung der Prädikat-Annotationen. Daher ist es entscheidend und herausfordernd, das Problem der Klassenungleichverteilung bei SGG zu bewältigen. In dieser Arbeit entdecken wir zunächst, dass wenn Prädikatslabels stark miteinander korreliert sind, übliche Rebalancierungsstrategien (z.B. Resampling und Reweighting) entweder zu Überanpassung an die Schwanzdaten führen können (z.B. "Bench sitting on sidewalk" anstelle von "on"), oder weiterhin unter den negativen Auswirkungen der ursprünglichen ungleichen Verteilung leiden (z.B. verschiedene Formen von "parked on", "standing on" und "sitting on" in "on" zusammenfassen). Wir argumentieren, dass der Hauptgrund dafür ist, dass Rebalancierungsstrategien empfindlich auf die Häufigkeiten von Prädikaten reagieren, aber ihre Zusammenhänge übersehen, die eine noch wichtigere Rolle bei der Förderung des Lernens von Prädikatmerkmalen spielen könnten. Deshalb schlagen wir ein neues Schema zur prädikatskorrelationsbewussten Lernmethode vor (PCPL – Predicate-Correlation Perception Learning – im Weiteren kurz PCPL genannt), das geeignete Verlustgewichte durch direkte Wahrnehmung und Nutzung der Korrelation zwischen den Prädikatklassen adaptiv ermittelt. Darüber hinaus wird unser PCPL-Framework mit einem Graphencodermodul ausgestattet, um den Kontext besser zu extrahieren. Umfangreiche Experimente auf dem Referenzdatensatz VG150 zeigen, dass das vorgeschlagene PCPL bei den Schwanzklassen deutlich bessere Ergebnisse erzielt, während es gleichzeitig die Leistung bei den Kopfklassen gut beibehält. Dies übertrifft erheblich die bisher besten Methoden.请注意，这里有一些术语的处理：- 场景图生成（Scene Graph Generation）被翻译为“Szengraphenerstellung” (SGG)- 长尾偏差（long-tailed bias）被翻译为“langschwänziges Verzerrungsproblem”- 类别不平衡问题（class imbalance problem）被翻译为“Klassenungleichverteilung”- 谓词标签（predicate labels）被翻译为“Prädikatslabels”- 过拟合（overfitting）被翻译为“Überanpassung”- 谓词相关性感知学习（Predicate-Correlation Perception Learning）被翻译为“prädikatskorrelationsbewusste Lernmethode” (PCPL)这些术语在德语文献中可能有其他常见的译法，但上述译法旨在保持专业性和准确性。