Apprentissage de l'inférence en langage naturel à l'aide d'un modèle LSTM bidirectionnel et d'une attention interne

Dans cet article, nous proposons un modèle basé sur l'encodage de phrases pour la reconnaissance de l'entraînement textuel. Notre approche consiste en un processus d'encodage de phrase en deux étapes. Premièrement, une moyenne pondérée est appliquée sur un LSTM bidirectionnel (biLSTM) au niveau des mots pour générer une première représentation de phrase. Deuxièmement, un mécanisme d'attention est utilisé pour remplacer la moyenne pondérée sur la même phrase afin d'obtenir des représentations plus précises. Au lieu d'utiliser la phrase cible pour porter attention aux mots dans la phrase source, nous avons utilisé la première représentation de la phrase pour porter attention aux mots qui y apparaissent, ce que nous appelons le « Inner-Attention » dans notre article. Les expériences menées sur le corpus Stanford Natural Language Inference (SNLI) ont prouvé l'efficacité du mécanisme « Inner-Attention ». Avec un nombre moindre de paramètres, notre modèle a largement surpassé les meilleures approches existantes basées sur l'encodage de phrases.