HyperAIHyperAI

Command Palette

Search for a command to run...

Unit d'attention temporelle : Vers un apprentissage prédictif spatio-temporel efficace

Cheng Tan Zhangyang Gao Lirong Wu Yongjie Xu Jun Xia Siyuan Li Stan Z. Li

Résumé

L’apprentissage prédictif spatio-temporel vise à générer des trames futures à partir d’un apprentissage sur des trames historiques. Dans cet article, nous examinons les méthodes existantes et proposons un cadre général pour l’apprentissage prédictif spatio-temporel, dans lequel l’encodeur spatial et le décodeur captent les caractéristiques intra-trame, tandis que le module temporel intermédiaire modélise les corrélations inter-trames. Bien que les méthodes dominantes utilisent des unités récurrentes pour capter les dépendances temporelles à long terme, celles-ci souffrent d’une faible efficacité computationnelle en raison de leurs architectures non parallélisables. Pour permettre la parallélisation du module temporel, nous proposons l’Unité d’Attention Temporelle (TAU), qui décompose l’attention temporelle en une attention statique intra-trame et une attention dynamique inter-trame. En outre, alors que la fonction de perte au carré moyen se concentre sur les erreurs intra-trame, nous introduisons une nouvelle régularisation par divergence différentielle afin de prendre en compte les variations inter-trames. Des expériences étendues démontrent que la méthode proposée permet au modèle dérivé d’atteindre des performances compétitives sur diverses benchmarks de prédiction spatio-temporelle.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp