HyperAIHyperAI
il y a 2 mois

Modélisation linguistique neuronale par apprentissage conjoint de la syntaxe et du lexique

Yikang Shen; Zhouhan Lin; Chin-Wei Huang; Aaron Courville
Modélisation linguistique neuronale par apprentissage conjoint de la syntaxe et du lexique
Résumé

Nous proposons un modèle de langage neuronal capable d'induire une structure syntaxique non supervisée. Ce modèle utilise les informations structurales pour former des représentations sémantiques améliorées et pour améliorer la modélisation du langage. Les réseaux neuronaux récurrents standards sont limités par leur structure et ne parviennent pas à utiliser efficacement les informations syntaxiques. D'autre part, les réseaux neuronaux récursifs à structure arborescente nécessitent généralement une supervision structurale supplémentaire au coût de l'annotation par des experts humains. Dans cet article, nous présentons un nouveau modèle de langage neuronal appelé Parsing-Reading-Predict Networks (PRPN), qui peut simultanément induire la structure syntaxique à partir de phrases non annotées et utiliser cette structure inférée pour apprendre un meilleur modèle de langage. Dans notre modèle, le gradient peut être directement rétropropagé à partir de la perte du modèle de langage dans le réseau neuronal d'analyse syntaxique. Les expériences montrent que le modèle proposé peut découvrir la structure syntaxique sous-jacente et atteindre des performances de pointe sur les tâches de modélisation du langage au niveau des mots/caractères.