Intégrer les bases de connaissances dans un contexte grâce au modèle Transformer pour les systèmes de dialogue orientés vers les tâches en boucle complète

L’intégration des bases de connaissances (KB) dans les systèmes de dialogue orientés vers une tâche, end-to-end, est un défi, car elle nécessite une représentation adéquate des entités de la KB, en lien avec leur contexte KB ainsi que le contexte du dialogue. Les travaux existants représentent les entités en ne prenant en compte qu’une partie de leur contexte KB, ce qui peut entraîner une représentation moins efficace en raison de pertes d’information, et nuire ainsi au raisonnement sur la KB et à la génération de réponses. Pour surmonter ce problème, nous explorons une représentation entièrement contextualisée des entités en percevant dynamiquement toutes les entités pertinentes ainsi que l’historique du dialogue. Pour ce faire, nous proposons un cadre COntext-aware Memory Enhanced Transformer (COMET), qui traite la KB comme une séquence et utilise un nouveau masque de mémoire afin de contraindre chaque entité à se concentrer uniquement sur les entités pertinentes et l’historique du dialogue, tout en évitant toute distraction provenant d’entités non pertinentes. À travers des expériences étendues, nous démontrons que notre cadre COMET atteint des performances supérieures par rapport aux méthodes les plus avancées de l’état de l’art.