HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage de l'inférence en langage naturel à l'aide d'un modèle LSTM bidirectionnel et d'une attention interne

Yang Liu Chengjie Sun Lei Lin Xiaolong Wang

Résumé

Dans cet article, nous proposons un modèle basé sur l'encodage de phrases pour la reconnaissance de l'entraînement textuel. Notre approche consiste en un processus d'encodage de phrase en deux étapes. Premièrement, une moyenne pondérée est appliquée sur un LSTM bidirectionnel (biLSTM) au niveau des mots pour générer une première représentation de phrase. Deuxièmement, un mécanisme d'attention est utilisé pour remplacer la moyenne pondérée sur la même phrase afin d'obtenir des représentations plus précises. Au lieu d'utiliser la phrase cible pour porter attention aux mots dans la phrase source, nous avons utilisé la première représentation de la phrase pour porter attention aux mots qui y apparaissent, ce que nous appelons le « Inner-Attention » dans notre article. Les expériences menées sur le corpus Stanford Natural Language Inference (SNLI) ont prouvé l'efficacité du mécanisme « Inner-Attention ». Avec un nombre moindre de paramètres, notre modèle a largement surpassé les meilleures approches existantes basées sur l'encodage de phrases.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp