Modèle de Inférence Séquentielle Améliorée par l'Attention

Le mécanisme d'attention a fait ses preuves dans le traitement du langage naturel. Cet article propose un modèle de raisonnement sur le langage naturel amélioré par l'attention, nommé aESIM, en ajoutant des mécanismes d'attention au niveau des mots et d'attention orientée de manière adaptative à la couche Bi-LSTM traditionnelle des modèles de raisonnement sur le langage naturel, tels que l'ESIM. Cela permet au modèle de raisonnement aESIM d'apprendre efficacement la représentation des mots et de modéliser l'inférence locale sous-sentencielle entre les paires de prémisse et hypothèse. Les études empiriques menées sur les benchmarks SNLI, MultiNLI et Quora montrent que l'aESIM est supérieur au modèle ESIM original.