Was und Wann betrachten?: Zeitlicher Spannungs-Vorschlagsnetzwerk für die Video-Relationserkennung

Die Identifizierung von Beziehungen zwischen Objekten ist zentral für das Verständnis einer Szene. Obwohl mehrere Arbeiten im Bereich der Bildanalyse zur Modellierung von Beziehungen vorgeschlagen wurden, gab es aufgrund der herausfordernden Dynamik der räumlich-zeitlichen Interaktionen (z.B. zwischen welchen Objekten findet eine Interaktion statt? Wann beginnen und enden Beziehungen?) viele Einschränkungen im Video-Bereich. Bislang wurden zwei repräsentative Methoden zur Bewältigung der Videovisuellen Beziehungserkennung (VidVRD) vorgeschlagen: die segmentbasierte und die fensterbasierte Methode. Wir weisen zunächst auf die Grenzen dieser Methoden hin und schlagen einen neuen Ansatz vor, den wir Temporal Span Proposal Network (TSPN) nennen. TSPN zeigt, worauf man achten soll: Es verkleinert den Suchraum für Beziehungen, indem es die Wahrscheinlichkeit von Beziehungen zwischen Objektpaaren bewertet, also misst, wie wahrscheinlich eine Beziehung existiert. TSPN zeigt auch, wann man darauf achten soll: Es nutzt den gesamten Videokontext gleichzeitig, um Start- und Endzeiten (d.h., zeitliche Bereiche) sowie Kategorien aller möglichen Beziehungen vorherzusagen. Diese beiden Designentscheidungen ermöglichen ein gewinnbringendes Szenario: Sie beschleunigen das Training um das Doppelte oder mehr als bestehende Methoden und erzielen wettbewerbsfähige Leistungen bei zwei VidVRD-Benchmarks (ImageNet-VidVDR und VidOR). Darüber hinaus belegen umfassende ablativ-experimentelle Analysen die Effektivität unseres Ansatzes. Der Quellcode ist unter https://github.com/sangminwoo/Temporal-Span-Proposal-Network-VidVRD verfügbar.