HyperAIHyperAI

Command Palette

Search for a command to run...

ReAct : Détection d'actions temporelles avec des requêtes relationnelles

Dingfeng Shi Yujie Zhong Qiong Cao Jing Zhang Lin Ma Jia Li Dacheng Tao

Résumé

Ce travail vise à améliorer la détection d’actions temporelles (TAD) en utilisant un cadre encodeur-décodeur basé sur des requêtes d’actions, similaire à DETR, qui a démontré un succès remarquable en détection d’objets. Toutefois, ce cadre présente plusieurs limitations lorsqu’il est directement appliqué à la TAD : une exploration insuffisante des relations entre requêtes dans le décoder, une formation classificatrice inadéquate due à un nombre limité d’échantillons d’entraînement, ainsi que des scores classificateurs peu fiables lors de l’inférence. Afin de surmonter ces défis, nous proposons tout d’abord un mécanisme d’attention relationnelle dans le décoder, qui guide l’attention entre les requêtes en fonction de leurs relations mutuelles. Par ailleurs, nous introduisons deux fonctions de perte afin de faciliter et stabiliser l’entraînement de la classification des actions. Enfin, nous proposons de prédire, lors de l’inférence, la qualité de localisation associée à chaque requête d’action, afin de distinguer les requêtes de haute qualité. La méthode proposée, nommée ReAct, atteint un état de l’art sur le jeu de données THUMOS14, tout en nécessitant des coûts computationnels bien inférieurs à ceux des méthodes précédentes. En outre, des études d’ablation étendues sont menées afin de valider l’efficacité de chaque composant proposé. Le code est disponible à l’adresse suivante : https://github.com/sssste/React.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp