Apprentissage d'un modèle de correspondance contexte-réponse efficace avec des tâches auto-supervisées pour les dialogues basés sur la recherche

La construction d'un système de dialogue intelligent capable de sélectionner une réponse appropriée en fonction d'un contexte à plusieurs tours est une tâche extrêmement complexe. Les études existantes se concentrent sur la création d'un modèle de correspondance contexte-réponse en utilisant diverses architectures neuronales ou des modèles linguistiques pré-entraînés (PLMs) et apprennent généralement à partir d'une seule tâche de prédiction de réponse. Ces approches négligent de nombreux signaux d'entraînement potentiels contenus dans les données de dialogue, qui pourraient être bénéfiques pour la compréhension du contexte et produire des caractéristiques plus performantes pour la prédiction des réponses. De plus, les réponses récupérées à partir des systèmes de dialogue existants supervisés par des méthodes conventionnelles continuent de faire face à certaines défis critiques, notamment l'incohérence et l'inconsistance.Pour résoudre ces problèmes, dans cet article, nous proposons d'apprendre un modèle de correspondance contexte-réponse avec des tâches auto-supervisées auxiliaires conçues spécifiquement pour les données de dialogue, basées sur des modèles linguistiques pré-entraînés. Plus précisément, nous introduisons quatre tâches auto-supervisées : la prédiction de la prochaine séquence (next session prediction), la restauration des énoncés (utterance restoration), la détection d'incohérence (incoherence detection) et la discrimination de cohérence (consistency discrimination). Nous entraînons conjointement le modèle de sélection de réponses basé sur les PLMs avec ces tâches auxiliaires dans un cadre multitâche.Par ce biais, les tâches auxiliaires peuvent guider l'apprentissage du modèle de correspondance pour atteindre un optimum local meilleur et sélectionner une réponse plus appropriée. Les résultats expérimentaux sur deux jeux de données基准表明，所提出的辅助自我监督任务在基于检索的对话中为多轮响应选择带来了显著的改进，我们的模型在这两个数据集上均达到了新的最先进水平。(Note: The last sentence contains a mix of French and Chinese due to a possible input error. Here is the corrected version in French:)Les résultats expérimentaux sur deux jeux de données indiquent que les tâches auxiliaires auto-supervisées proposées apportent une amélioration significative pour la sélection multi-tour des réponses dans les dialogues basés sur la recherche, et notre modèle atteint de nouveaux niveaux d'excellence sur les deux ensembles de données.