HyperAIHyperAI

Command Palette

Search for a command to run...

Salienzgesteuertes DETR für Momentretrieval und Hervorhebungserkennung

Gordeev Aleksandr ; Dokholyan Vladimir ; Tolstykh Irina ; Kuprashevich Maksim

Zusammenfassung

Bestehende Ansätze für die Video-Moment-Retrieval und Highlight-Detektion sind nicht in der Lage, Text- und Videofeatures effizient auszurichten, was zu unzufriedenstellenden Leistungen und begrenztem Einsatz in der Produktion führt. Um dieses Problem anzugehen, schlagen wir eine neuartige Architektur vor, die auf jüngsten grundlegenden Videomodellen basiert, die für diese Ausrichtung entwickelt wurden. In Kombination mit dem eingeführten Saliency-Guided Cross Attention Mechanismus (Saliency-gesteuerte Kreuzaufmerksamkeitsmechanismus) und einer hybriden DETR-Architektur verbessert unser Ansatz die Leistung erheblich bei den Aufgaben der Moment-Retrieval und Highlight-Detektion. Für noch bessere Ergebnisse haben wir InterVid-MR entwickelt, einen groß angelegten und hochwertigen Datensatz für das Pretraining. Mit seiner Verwendung erreicht unsere Architektur Stand-of-the-Art-Ergebnisse auf den Benchmarks QVHighlights, Charades-STA und TACoS. Der vorgeschlagene Ansatz bietet eine effiziente und skalierbare Lösung sowohl für zero-shot als auch für Feinabstimmungsszenarien in Video-Sprachaufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Salienzgesteuertes DETR für Momentretrieval und Hervorhebungserkennung | Paper | HyperAI