DETR Conscient de la Longueur pour une Récupération de Moments Robuste

La récupération de moments vidéo (MR) vise à localiser des segments au sein d'une vidéo en fonction d'une requête naturelle donnée. Étant donné l'utilisation prévalente de plates-formes comme YouTube pour la recherche d'informations, la demande de techniques MR est en croissance significative. Les modèles récents basés sur DETR ont réalisé des avancées notables en termes de performance, mais ils peinent encore à localiser précisément les moments courts. Grâce à une analyse des données, nous avons identifié une diversité limitée des caractéristiques dans les moments courts, ce qui a motivé le développement de MomentMix. MomentMix utilise deux stratégies d'augmentation : ForegroundMix et BackgroundMix, chacune améliorant respectivement les représentations des caractéristiques du premier plan et de l'arrière-plan. De plus, notre analyse du biais de prédiction a révélé que les moments courts ont particulièrement du mal à prédire leurs positions centrales avec précision. Pour remédier à cela, nous proposons un décodeur sensible à la longueur (Length-Aware Decoder), qui conditionne la longueur par un processus novateur de correspondance bipartite. Nos études approfondies démontrent l'efficacité de notre approche sensible à la longueur, notamment dans la localisation des moments courts, conduisant ainsi à une amélioration globale des performances. Notre méthode dépasse les méthodes basées sur DETR les plus performantes actuellement disponibles sur des jeux de données de référence, atteignant le meilleur R1 et mAP sur QVHighlights et le meilleur [email protected] sur TACoS et Charades-STA (par exemple, une amélioration de 2,46 % en [email protected] et de 2,57 % en moyenne mAP pour QVHighlights). Le code est disponible à l'adresse suivante : https://github.com/sjpark5800/LA-DETR.