Réseaux de Neurones Récursifs Multirésolution : Une Application à la Génération de Réponses Dialogiques

Nous présentons le réseau neuronal récurrent à résolution multiple, qui étend le cadre séquence-à-séquence pour modéliser la génération de langage naturel comme deux processus stochastiques discrets parallèles : une séquence de jetons grossiers de haut niveau et une séquence de jetons de langage naturel. Il existe de nombreuses méthodes pour estimer ou apprendre les jetons grossiers de haut niveau, mais nous soutenons qu'une procédure d'extraction simple est suffisante pour capturer une grande richesse de sémantiques discursives de haut niveau. Cette procédure permet d'entraîner le réseau neuronal récurrent à résolution multiple en maximisant la vraisemblance logarithmique exacte conjointe sur les deux séquences. Contrairement à l'objectif standard de vraisemblance logarithmique par rapport aux jetons de langage naturel (perplexité des mots), l'optimisation de la vraisemblance logarithmique conjointe oriente le modèle vers la modélisation d'abstractions de haut niveau. Nous appliquons le modèle proposé à la tâche de génération des réponses dans un dialogue dans deux domaines difficiles : le domaine du support technique Ubuntu et les conversations sur Twitter. Sur Ubuntu, le modèle surpassent les approches concurrentes avec une marge considérable, obtenant des résultats d'état de l'art selon tant les métriques d'évaluation automatique que l'étude d'évaluation humaine. Sur Twitter, le modèle semble générer des réponses plus pertinentes et en phase avec le sujet selon les métriques d'évaluation automatique. Enfin, nos expériences démontrent que le modèle proposé est plus apte à surmonter la rareté du langage naturel et mieux capable de capturer la structure à long terme.