HyperAIHyperAI
il y a 2 mois

Amélioration de l’LSTM pour l’inférence en langage naturel

Qian Chen; Xiaodan Zhu; Zhenhua Ling; Si Wei; Hui Jiang; Diana Inkpen
Amélioration de l’LSTM pour l’inférence en langage naturel
Résumé

Le raisonnement et l'inférence sont au cœur de l'intelligence humaine et artificielle. Modéliser l'inférence dans le langage humain est un défi considérable. Grâce à la disponibilité de grandes quantités de données annotées (Bowman et al., 2015), il est récemment devenu possible d'entraîner des modèles d'inférence basés sur les réseaux neuronaux, qui se sont avérés très efficaces. Dans cet article, nous présentons un nouveau résultat de pointe, atteignant une précision de 88,6 % sur le dataset d'inférence en langage naturel de Stanford. Contrairement aux modèles précédents qui utilisent des architectures de réseau très complexes, nous montrons d'abord que concevoir soigneusement des modèles d'inférence séquentiels basés sur des LSTM en chaîne peut surpasser tous les modèles précédents. Sur cette base, nous démontrons également que l'introduction explicite d'architectures récursives dans la modélisation locale de l'inférence et la composition de l'inférence permet d'améliorer davantage les performances. En particulier, l'intégration des informations issues du parsing syntaxique contribue à notre meilleur résultat---elle améliore encore les performances même lorsqu'elle est ajoutée à un modèle déjà très performant.