Une méthode efficace d’adaptation de domaine post-formation pour BERT dans la sélection de réponses

Nous nous concentrons sur la sélection de réponses multi-tours dans un système de dialogue basé sur la recherche. Dans cet article, nous utilisons le puissant modèle de langage pré-entraîné Bi-directional Encoder Representations from Transformers (BERT) pour un système de dialogue multi-tours et proposons une méthode d'entraînement postérieur hautement efficace sur un corpus spécifique à un domaine. Bien que BERT puisse être facilement adapté à diverses tâches en traitement du langage naturel (NLP) et surpasser les baselines précédentes de chaque tâche, il présente encore des limites si le corpus d'une tâche est trop centré sur un domaine particulier. L'entraînement postérieur sur un corpus spécifique à un domaine (par exemple, le Corpus Ubuntu) aide le modèle à apprendre des représentations contextuelles et des mots qui n'apparaissent pas dans les corpus généraux (par exemple, Wikipédia en anglais). Les résultats expérimentaux montrent que notre approche atteint de nouveaux états de l'art sur deux benchmarks de sélection de réponses (à savoir, le Corpus Ubuntu V1, le Corpus Advising), avec des améliorations de performance de 5,9 % et 6 % sur R@1.