HyperAIHyperAI

Command Palette

Search for a command to run...

Was und Wann betrachten?: Zeitlicher Spannungs-Vorschlagsnetzwerk für die Video-Relationserkennung

Sangmin Woo Junhyug Noh Kangil Kim

Zusammenfassung

Die Identifizierung von Beziehungen zwischen Objekten ist zentral für das Verständnis einer Szene. Obwohl mehrere Arbeiten im Bereich der Bildanalyse zur Modellierung von Beziehungen vorgeschlagen wurden, gab es aufgrund der herausfordernden Dynamik der räumlich-zeitlichen Interaktionen (z.B. zwischen welchen Objekten findet eine Interaktion statt? Wann beginnen und enden Beziehungen?) viele Einschränkungen im Video-Bereich. Bislang wurden zwei repräsentative Methoden zur Bewältigung der Videovisuellen Beziehungserkennung (VidVRD) vorgeschlagen: die segmentbasierte und die fensterbasierte Methode. Wir weisen zunächst auf die Grenzen dieser Methoden hin und schlagen einen neuen Ansatz vor, den wir Temporal Span Proposal Network (TSPN) nennen. TSPN zeigt, worauf man achten soll: Es verkleinert den Suchraum für Beziehungen, indem es die Wahrscheinlichkeit von Beziehungen zwischen Objektpaaren bewertet, also misst, wie wahrscheinlich eine Beziehung existiert. TSPN zeigt auch, wann man darauf achten soll: Es nutzt den gesamten Videokontext gleichzeitig, um Start- und Endzeiten (d.h., zeitliche Bereiche) sowie Kategorien aller möglichen Beziehungen vorherzusagen. Diese beiden Designentscheidungen ermöglichen ein gewinnbringendes Szenario: Sie beschleunigen das Training um das Doppelte oder mehr als bestehende Methoden und erzielen wettbewerbsfähige Leistungen bei zwei VidVRD-Benchmarks (ImageNet-VidVDR und VidOR). Darüber hinaus belegen umfassende ablativ-experimentelle Analysen die Effektivität unseres Ansatzes. Der Quellcode ist unter https://github.com/sangminwoo/Temporal-Span-Proposal-Network-VidVRD verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp