HyperAIHyperAI

Command Palette

Search for a command to run...

Connaître votre cible : le Transformer consciente de la cible améliore le repérage spatio-temporel dans les vidéos

Xin Gu Yaojie Shen Chenxi Luo Tiejian Luo Yan Huang Yuewei Lin Heng Fan Libo Zhang

Résumé

Transformer a suscité un intérêt croissant dans le domaine de la localisation spatio-temporelle de vidéos (STVG), en raison de sa chaîne de traitement end-to-end et de ses résultats prometteurs. Les approches actuelles basées sur Transformer pour le STVG exploitent souvent un ensemble de requêtes d’objets initialisées de manière simple par des zéros, puis apprennent progressivement les informations de position cible via des interactions itératives avec les caractéristiques multimodales, afin d’obtenir une localisation spatiale et temporelle. Malgré leur simplicité, ces requêtes d’objets initialement nulles, en raison de leur absence de signaux spécifiques au but, peinent à extraire des informations discriminantes à partir des interactions avec les caractéristiques multimodales dans des scénarios complexes (par exemple, en présence de distracteurs ou d’occlusions), entraînant une dégradation des performances. Pour remédier à ce problème, nous proposons un nouveau modèle, le Target-Aware Transformer pour le STVG (TA-STVG), qui vise à générer de manière adaptative des requêtes d’objets en explorant des indices spécifiques au but à partir d’une paire vidéo-texte donnée, afin d’améliorer les performances du STVG. Le cœur de notre approche repose sur deux modules simples mais efficaces, mis en cascade : l’échantillonnage temporel guidé par le texte (TTS) et l’activation spatiale sensible aux attributs (ASA). Le premier module se concentre sur la sélection de signaux temporels pertinents pour l’objet cible à partir de la vidéo, en exploitant l’information textuelle globale. Le second module vise à exploiter davantage les informations visuelles fines relatives aux attributs de l’objet à partir des signaux temporels précédemment identifiés comme ciblés, afin d’initialiser les requêtes d’objets. Contrairement aux méthodes existantes utilisant des requêtes initialisées à zéro, les requêtes d’objets dans notre TA-STVG sont directement générées à partir de la paire vidéo-texte donnée, portant naturellement des indices spécifiques au but, ce qui les rend adaptatives et leur permet d’interagir de manière plus efficace avec les caractéristiques multimodales pour apprendre des informations plus discriminantes, améliorant ainsi les performances du STVG. Nos expérimentations sur trois benchmarks démontrent que TA-STVG atteint un niveau d’état de l’art et surpasse significativement la méthode de référence, validant ainsi son efficacité.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Connaître votre cible : le Transformer consciente de la cible améliore le repérage spatio-temporel dans les vidéos | Articles | HyperAI