Sur la Modélisation de Phrases Neurales Basée sur les Arbres

Les réseaux neuronaux avec des encodeurs de phrases basés sur des arbres ont montré de meilleurs résultats sur de nombreuses tâches en aval. La plupart des encodeurs existants utilisent des arbres d'analyse syntaxique comme structure explicite a priori. Pour étudier l'efficacité de différentes structures d'arbres, nous avons remplacé les arbres d'analyse par des arbres triviaux (c'est-à-dire, arbre binaire équilibré, arbre à branchement gauche et arbre à branchement droit) dans les encodeurs. Bien que ces arbres triviaux ne contiennent aucune information syntaxique, ces encodeurs obtiennent des résultats compétitifs ou même meilleurs sur toutes les dix tâches en aval que nous avons examinées. Ce résultat surprenant suggère que la guidance syntaxique explicite peut ne pas être le principal contributeur aux performances supérieures du modèle neuronal de phrase basé sur des arbres. Une analyse supplémentaire montre que la modélisation par arbre donne de meilleurs résultats lorsque les mots cruciaux sont plus proches de la représentation finale. Des expériences supplémentaires fournissent davantage d'indices sur la façon de concevoir un encodeur basé sur des arbres efficace. Notre code est open-source et disponible à l'adresse suivante : https://github.com/ExplorerFreda/TreeEnc.