Uni-Encoder : Un paradigme rapide et précis pour la sélection de réponses dans les systèmes de dialogue basés sur la génération

L'échantillonnage et le classement (sample-and-rank) constituent une stratégie de décodage clé pour les systèmes de dialogue modernes basés sur la génération. Cette méthode permet d'obtenir des réponses diversifiées et de haute qualité en sélectionnant une réponse parmi un petit groupe de candidats générés. Les méthodes actuelles de classement les plus performantes utilisent principalement un paradigme d'encodage appelé Cross-Encoder, qui encode séparément chaque paire contexte-candidat et classe les candidats selon leurs scores d'adéquation. Cependant, le Cross-Encoder encode à plusieurs reprises le même contexte long pour chaque candidat, ce qui entraîne des coûts computationnels élevés. Le Poly-Encoder résout ces problèmes en réduisant l'interaction entre le contexte et les candidats, mais au prix d'une baisse des performances. Dans cette étude, nous développons un nouveau paradigme appelé Uni-Encoder, qui maintient une attention complète sur chaque paire comme dans le Cross-Encoder tout en ne codant le contexte qu'une seule fois, comme dans le Poly-Encoder. Le Uni-Encoder encode tous les candidats avec le contexte en une seule passe avant. Nous utilisons le même plongement positionnel (positional embedding) pour tous les candidats afin de garantir qu'ils sont traités de manière équitable et concevons un nouveau mécanisme d'attention pour éviter toute confusion. Notre Uni-Encoder peut simuler d'autres paradigmes de classement en utilisant différentes méthodes d'attention et de concaténation des réponses. Des expériences approfondies montrent que notre paradigme proposé atteint de nouveaux résultats d'état de l'art sur quatre jeux de données de référence avec une efficacité computationnelle élevée. Par exemple, il améliore R10@1 de 2,9 % avec une vitesse d'inférence environ 4 fois plus rapide sur le jeu de données Ubuntu V2.