HyperAIHyperAI

Command Palette

Search for a command to run...

Réseaux d'Attention Compositionnelle pour le Raisonnement Machine

Drew A. Hudson; Christopher D. Manning

Résumé

Nous présentons le réseau MAC, une nouvelle architecture de réseau neuronal entièrement différentiable, conçue pour faciliter un raisonnement explicite et expressif. Le réseau MAC s'éloigne des architectures neuronales monolithiques et opaques vers un design qui encourage à la fois la transparence et la polyvalence. Le modèle aborde les problèmes en les décomposant en une série d'étapes de raisonnement basées sur l'attention, chacune étant réalisée par une cellule récurrente innovante de Mémoire, Attention et Composition (MAC) qui maintient une séparation entre le contrôle et la mémoire. En reliant ces cellules ensemble et en imposant des contraintes structurelles qui régulent leur interaction, le réseau MAC apprend efficacement à effectuer des processus de raisonnement itératifs directement inférés des données dans une approche bout-à-bout. Nous démontrons la force, la robustesse et l'interprétabilité du modèle sur l'ensemble de données CLEVR pour le raisonnement visuel, atteignant un nouveau niveau d'excellence avec une précision de 98,9 %, réduisant ainsi le taux d'erreur du meilleur modèle précédent de moitié. Plus important encore, nous montrons que le modèle est économiquement rentable en termes de calcul et de données, nécessitant notamment 5 fois moins de données que les modèles existants pour obtenir des résultats solides.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp