Visual Relationship Detection mit tiefem strukturellem Ranking

Die visuelle Beziehungsdetektion zielt darauf ab, die Interaktionen zwischen Paaren von Objekten zu beschreiben. Im Gegensatz zu einzelnen Objekterkennungsaufgaben ist die Anzahl möglicher Beziehungen deutlich größer, was die alleinige Exploration basierend auf der visuellen Erscheinung der Objekte erschwert. Zudem sind die Annotationen visueller Beziehungen aufgrund der begrenzten menschlichen Aufwand oft unvollständig, was die Modelltrainierung und -bewertung zusätzlich erschwert. In diesem Paper stellen wir einen neuen Ansatz namens Deep Structural Ranking für die visuelle Beziehungsdetektion vor. Um die Darstellungsfähigkeit der visuellen Erscheinung zu ergänzen, integrieren wir mehrere Hinweise zur Vorhersage der in einem Eingabebild enthaltenen Beziehungen. Darüber hinaus entwickeln wir eine neue Ranking-Zielfunktion, die sicherstellt, dass annotierte Beziehungen höhere Relevanzscores erhalten. Im Gegensatz zu früheren Arbeiten ermöglicht unser vorgeschlagener Ansatz sowohl die Förderung der gemeinsamen Auftretens von Beziehungen als auch die Milderung des Problems der Unvollständigkeit. Experimentelle Ergebnisse zeigen, dass unsere Methode auf zwei weit verbreiteten Datensätzen die derzeit besten Ansätze übertrifft. Zudem demonstrieren wir ihre Überlegenheit bei der Erkennung von Zero-Shot-Beziehungen.