HyperAIHyperAI

Command Palette

Search for a command to run...

Localisation temporelle d’actions faiblement supervisée par apprentissage progressif complémentaire

Jia-Run Du Jia-Chang Feng Kun-Yu Lin Fa-Ting Hong Xiao-Ming Wu Zhongang Qi Ying Shan Wei-Shi Zheng

Résumé

La localisation d’actions temporelles faiblement supervisée (WSTAL) vise à localiser et à classifier des instances d’actions dans des vidéos longues et non découpées, en ne disposant que d’étiquettes au niveau de la vidéo. En raison de l’absence de supervision au niveau des segments (snippets) pour indiquer les bornes des actions, les méthodes antérieures attribuent généralement des pseudo-étiquettes aux segments non étiquetés. Toutefois, comme certaines instances d’actions appartenant à des catégories différentes sont visuellement similaires, il est complexe d’attribuer correctement une seule catégorie d’action à un segment, et des pseudo-étiquettes erronées peuvent nuire à la performance de localisation. Pour résoudre ce problème, nous proposons une nouvelle méthode inspirée d’un point de vue d’exclusion catégorielle, nommée apprentissage progressif complémentaire (ProCL), qui améliore progressivement la supervision au niveau des segments. Notre approche s’inspire du fait que les étiquettes au niveau de la vidéo indiquent précisément les catégories que tous les segments ne peuvent pas appartenir, un aspect ignoré par les travaux antérieurs. En conséquence, nous excluons tout d’abord ces catégories certainement absentes grâce à une perte d’apprentissage complémentaire. Ensuite, nous introduisons une étiquetage pseudo-complémentaire conscient du fond afin d’exclure davantage de catégories pour les segments présentant une faible ambiguïté. Enfin, pour les segments encore ambigus, nous cherchons à réduire cette ambiguïté en distinguant les actions au premier plan du fond. Les résultats expérimentaux étendus montrent que notre méthode atteint un nouveau record d’état de l’art sur deux benchmarks populaires, à savoir THUMOS14 et ActivityNet1.3.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Localisation temporelle d’actions faiblement supervisée par apprentissage progressif complémentaire | Articles | HyperAI