HyperAIHyperAI

Command Palette

Search for a command to run...

AssembleNet++ : Assemblage de représentations modales par des connexions à attention

Michael S. Ryoo AJ Piergiovanni Juhana Kangaspunta Anelia Angelova

Résumé

Nous proposons une famille de modèles vidéo puissants capables de : (i) apprendre les interactions entre les informations sémantiques des objets et les caractéristiques brutes d'apparence et de mouvement, et (ii) intégrer une attention afin d'améliorer l'apprentissage de l'importance des caractéristiques à chaque bloc convolutionnel du réseau. Nous introduisons un nouveau composant réseau appelé peer-attention, qui apprend dynamiquement les poids d'attention à partir d'un autre bloc ou d'une autre modalité d'entrée. Sans pré-entraînement, nos modèles surpassent les approches antérieures sur des jeux de données publics standard pour la reconnaissance d'activités à vidéos continues, établissant ainsi un nouveau record d'état de l'art. Nous confirmons également que nos observations — notamment l'existence de connexions neuronales provenant de la modalité objet et l'utilisation de peer-attention — sont généralement applicables à différentes architectures existantes, améliorant ainsi leurs performances. Nous nommons explicitement notre modèle AssembleNet++. Le code sera disponible à l’adresse suivante : https://sites.google.com/corp/view/assemblenet/


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp