HyperAIHyperAI

Command Palette

Search for a command to run...

il y a 4 mois

Réseau d'attention syntaxique d'ordre supérieur pour la compression de phrases plus longues

{Tsutomu Hirao Katsuhiko Hayashi Masaaki Nagata Hidetaka Kamigaito}

Réseau d'attention syntaxique d'ordre supérieur pour la compression de phrases plus longues

Résumé

Une méthode de compression de phrases basée sur un LSTM peut générer des phrases compressées fluides. Toutefois, ses performances se dégradent significativement lorsqu’elle est appliquée à des phrases plus longues, car elle ne traite pas explicitement les caractéristiques syntaxiques. Pour résoudre ce problème, nous proposons un réseau d’attention syntaxique d’ordre supérieur (HiSAN), capable de modéliser les caractéristiques de dépendance d’ordre supérieur sous forme de distribution d’attention sur les états cachés du LSTM. En outre, afin de réduire l’impact des résultats d’analyse syntaxique erronés, nous avons entraîné HiSAN en maximisant conjointement la probabilité d’un résultat correct et celle de la distribution d’attention. Les résultats expérimentaux sur le jeu de données Google de compression de phrases montrent que notre méthode obtient les meilleurs scores en F1, ROUGE-1, ROUGE-2 et L, respectivement 83,2, 82,9, 75,8 et 82,7. En évaluation humaine, notre méthode surpasse également les méthodes de référence en termes de lisibilité et d’information contenue.

Benchmarks

BenchmarkMéthodologieMétriques
sentence-compression-on-google-datasetHigher-Order Syntactic Attention Network
F1: 0.835

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Réseau d'attention syntaxique d'ordre supérieur pour la compression de phrases plus longues | Articles de recherche | HyperAI