HyperAIHyperAI

Command Palette

Search for a command to run...

Hintergrundbewusste Momentenerkennung für die Video-Moment-Retrieval

Minjoon Jung Youwon Jang Seongho Choi Joochan Kim Jin-Hwa Kim Byoung-Tak Zhang

Zusammenfassung

Video-Moment-Retrieval (VMR) identifiziert einen spezifischen Zeitpunkt in einem ungeschnittenen Video für eine gegebene natürlichsprachliche Abfrage. Diese Aufgabe ist anfällig für das schwache Ausrichtungsproblem, das in Video-Datensätzen inhärent ist. Aufgrund der Ambiguität deckt eine Abfrage die relevanten Details des entsprechenden Moments nicht vollständig ab, oder der Moment kann fehlpositionierte und irrelevante Frames enthalten, was potenziell weitere Leistungssteigerungen einschränkt. Um dieses Problem zu bewältigen, schlagen wir einen Hintergrundbewussten Momentenerkennungstransformer (BM-DETR) vor. Unser Modell verwendet einen kontrastiven Ansatz und nutzt sorgfältig die negativen Abfragen, die mit anderen Moments im Video verknüpft sind. Insbesondere lernt unser Modell, den Zielmoment aus der gemeinsamen Wahrscheinlichkeit jedes Frames unter Berücksichtigung der positiven Abfrage und dem Komplement der negativen Abfragen zuvorzusagen. Dies führt zu einer effektiven Nutzung des umliegenden Hintergrunds, verbessert die Momentempfindlichkeit und verstärkt die Gesamtausrichtung in Videos. Ausführliche Experimente auf vier Benchmarks zeigen die Effektivität unserer Methode. Unser Code ist verfügbar unter: \url{https://github.com/minjoong507/BM-DETR}


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp