Command Palette
Search for a command to run...
Réfléchir à l'attention self : Vers une interprétabilité dans l'analyse neurale
Réfléchir à l'attention self : Vers une interprétabilité dans l'analyse neurale
Khalil Mrini Franck Dernoncourt Quan Tran Trung Bui Walter Chang Ndapa Nakashole
Résumé
Les mécanismes d’attention ont amélioré les performances des tâches de traitement du langage naturel (NLP) tout en maintenant la capacité des modèles à être explicables. L’attention auto-attentionnelle est actuellement très répandue, mais son interprétabilité reste difficile en raison du grand nombre de distributions d’attention. Des travaux récents ont montré que les représentations des modèles peuvent bénéficier d’informations spécifiques aux étiquettes, tout en facilitant l’interprétation des prédictions. Nous introduisons la couche d’attention par étiquette : une nouvelle forme d’attention auto-attentionnelle où les têtes d’attention représentent des étiquettes. Nous évaluons cette nouvelle couche à travers des expériences de parsing constituante et de parsing syntaxique dépendant, et démontrons que notre modèle atteint de nouveaux états de l’art pour ces deux tâches sur les corpus Penn Treebank (PTB) et Chinese Treebank. En outre, notre modèle nécessite moins de couches d’attention auto-attentionnelle que les approches existantes. Enfin, nous constatons que les têtes d’attention par étiquette apprennent des relations entre les catégories syntaxiques, ouvrant ainsi des voies pour analyser les erreurs.