HyperAIHyperAI

Command Palette

Search for a command to run...

Sur la Modélisation de Phrases Neurales Basée sur les Arbres

Haoyue Shi Hao Zhou Jiaze Chen Lei Li

Résumé

Les réseaux neuronaux avec des encodeurs de phrases basés sur des arbres ont montré de meilleurs résultats sur de nombreuses tâches en aval. La plupart des encodeurs existants utilisent des arbres d'analyse syntaxique comme structure explicite a priori. Pour étudier l'efficacité de différentes structures d'arbres, nous avons remplacé les arbres d'analyse par des arbres triviaux (c'est-à-dire, arbre binaire équilibré, arbre à branchement gauche et arbre à branchement droit) dans les encodeurs. Bien que ces arbres triviaux ne contiennent aucune information syntaxique, ces encodeurs obtiennent des résultats compétitifs ou même meilleurs sur toutes les dix tâches en aval que nous avons examinées. Ce résultat surprenant suggère que la guidance syntaxique explicite peut ne pas être le principal contributeur aux performances supérieures du modèle neuronal de phrase basé sur des arbres. Une analyse supplémentaire montre que la modélisation par arbre donne de meilleurs résultats lorsque les mots cruciaux sont plus proches de la représentation finale. Des expériences supplémentaires fournissent davantage d'indices sur la façon de concevoir un encodeur basé sur des arbres efficace. Notre code est open-source et disponible à l'adresse suivante : https://github.com/ExplorerFreda/TreeEnc.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp