Amélioration des représentations sémantiques à partir de réseaux neuronaux à mémoire à court et long terme structurés en arbre

En raison de leur capacité supérieure à préserver les informations séquentielles au fil du temps, les réseaux Long Short-Term Memory (LSTM), un type de réseau neuronal récurrent doté d'une unité de calcul plus complexe, ont obtenu des résultats solides sur diverses tâches de modélisation séquentielle. Jusqu'à présent, la seule structure sous-jacente d'architecture LSTM explorée est une chaîne linéaire. Cependant, le langage naturel présente des propriétés syntaxiques qui combinent naturellement les mots en phrases. Nous introduisons le Tree-LSTM, une généralisation des LSTM aux topologies de réseau arborescent. Les Tree-LSTM surpassent tous les systèmes existants et les LSTM de base robustes sur deux tâches : la prédiction de la pertinence sémantique entre deux phrases (SemEval 2014, Tâche 1) et la classification des sentiments (Stanford Sentiment Treebank).