MPC-BERT : Un modèle de langage pré-entraîné pour la compréhension des conversations à plusieurs parties

Récemment, divers modèles neuronaux pour les conversations à plusieurs parties (MPC) ont réalisé des améliorations impressionnantes dans une variété de tâches telles que la reconnaissance des destinataires, l'identification des locuteurs et la prédiction des réponses. Cependant, ces méthodes existantes pour les MPC représentent généralement les interlocuteurs et les énoncés individuellement, ignorant ainsi la structure complexe inhérente aux MPC, qui peut fournir des informations sémantiques cruciales sur les interlocuteurs et les énoncés et améliorer le processus de compréhension de la conversation. A cet égard, nous présentons MPC-BERT, un modèle pré-entraîné pour la compréhension des MPC qui prend en compte l'apprentissage de qui dit quoi à qui dans un modèle unifié avec plusieurs tâches auto-supervisées élaborées. Plus particulièrement, ces tâches peuvent être généralement classées en (1) modélisation de la structure interlocutoire incluant la reconnaissance des énoncés en réponse, la recherche de locuteurs identiques et la distinction de cohérence du pointeur, et (2) modélisation sémantique des énoncés incluant la restauration d'énoncés partagés masqués et la détection de nœuds partagés. Nous évaluons MPC-BERT sur trois tâches descendantes comprenant la reconnaissance des destinataires, l'identification des locuteurs et le choix de réponse. Les résultats expérimentaux montrent que MPC-BERT surpassent largement les méthodes précédentes et atteignent de nouvelles performances d'état de l'art sur toutes les trois tâches descendantes dans deux benchmarks.