HyperAIHyperAI

Command Palette

Search for a command to run...

Réfléchir à l'attention self : Vers une interprétabilité dans l'analyse neurale

Khalil Mrini Franck Dernoncourt Quan Tran Trung Bui Walter Chang Ndapa Nakashole

Résumé

Les mécanismes d’attention ont amélioré les performances des tâches de traitement du langage naturel (NLP) tout en maintenant la capacité des modèles à être explicables. L’attention auto-attentionnelle est actuellement très répandue, mais son interprétabilité reste difficile en raison du grand nombre de distributions d’attention. Des travaux récents ont montré que les représentations des modèles peuvent bénéficier d’informations spécifiques aux étiquettes, tout en facilitant l’interprétation des prédictions. Nous introduisons la couche d’attention par étiquette : une nouvelle forme d’attention auto-attentionnelle où les têtes d’attention représentent des étiquettes. Nous évaluons cette nouvelle couche à travers des expériences de parsing constituante et de parsing syntaxique dépendant, et démontrons que notre modèle atteint de nouveaux états de l’art pour ces deux tâches sur les corpus Penn Treebank (PTB) et Chinese Treebank. En outre, notre modèle nécessite moins de couches d’attention auto-attentionnelle que les approches existantes. Enfin, nous constatons que les têtes d’attention par étiquette apprennent des relations entre les catégories syntaxiques, ouvrant ainsi des voies pour analyser les erreurs.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp