Salienzgesteuertes DETR für Momentretrieval und Hervorhebungserkennung

Bestehende Ansätze für die Video-Moment-Retrieval und Highlight-Detektion sind nicht in der Lage, Text- und Videofeatures effizient auszurichten, was zu unzufriedenstellenden Leistungen und begrenztem Einsatz in der Produktion führt. Um dieses Problem anzugehen, schlagen wir eine neuartige Architektur vor, die auf jüngsten grundlegenden Videomodellen basiert, die für diese Ausrichtung entwickelt wurden. In Kombination mit dem eingeführten Saliency-Guided Cross Attention Mechanismus (Saliency-gesteuerte Kreuzaufmerksamkeitsmechanismus) und einer hybriden DETR-Architektur verbessert unser Ansatz die Leistung erheblich bei den Aufgaben der Moment-Retrieval und Highlight-Detektion. Für noch bessere Ergebnisse haben wir InterVid-MR entwickelt, einen groß angelegten und hochwertigen Datensatz für das Pretraining. Mit seiner Verwendung erreicht unsere Architektur Stand-of-the-Art-Ergebnisse auf den Benchmarks QVHighlights, Charades-STA und TACoS. Der vorgeschlagene Ansatz bietet eine effiziente und skalierbare Lösung sowohl für zero-shot als auch für Feinabstimmungsszenarien in Video-Sprachaufgaben.