HyperAIHyperAI

Command Palette

Search for a command to run...

TARN : Réseau de Relations Temporelles Attentives pour la Reconnaissance d'Actions en Few-Shot et Zero-Shot

Mina Bishay Georgios Zoumpourlis Ioannis Patras

Résumé

Dans cet article, nous proposons un nouveau réseau de relations temporelles attentives (TARN) pour les problèmes de reconnaissance d'actions en few-shot et en zero-shot. Au cœur de notre réseau se trouve une approche de méta-apprentissage qui apprend à comparer des représentations de longueur temporelle variable, c'est-à-dire soit deux vidéos de longueurs différentes (dans le cas de la reconnaissance d'actions en few-shot), soit une vidéo et une représentation sémantique telle qu'un vecteur de mots (dans le cas de la reconnaissance d'actions en zero-shot). Contrairement aux autres travaux sur la reconnaissance d'actions en few-shot et en zero-shot, nous a) utilisons des mécanismes d'attention pour effectuer l'alignement temporel, et b) apprenons une mesure de distance profonde sur les représentations alignées au niveau des segments vidéo. Nous adoptons un schéma d'entraînement basé sur des épisodes et entraînons notre réseau de manière end-to-end. La méthode proposée ne nécessite aucun ajustement fin dans le domaine cible ni la maintenance de représentations supplémentaires, comme c'est le cas pour les réseaux à mémoire. Les résultats expérimentaux montrent que l'architecture proposée surpasses l'état de l'art en reconnaissance d'actions en few-shot et obtient des résultats compétitifs en reconnaissance d'actions en zero-shot.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
TARN : Réseau de Relations Temporelles Attentives pour la Reconnaissance d'Actions en Few-Shot et Zero-Shot | Articles | HyperAI