Calibrer la probabilité séquentielle améliore la génération conditionnelle de langage

Les modèles linguistiques conditionnels sont principalement entraînés par estimation de vraisemblance maximale (MLE), qui attribue une masse de probabilité aux séquences cibles peu fréquemment observées. Bien que les modèles entraînés par MLE attribuent une haute probabilité aux séquences plausibles étant donné le contexte, leurs probabilités ne reflètent souvent pas fidèlement l’ordre de qualité des séquences générées. Ce phénomène a été observé empiriquement lors de la décodage par recherche en largeur (beam search), où la qualité de sortie dégrade avec des tailles de faisceau importantes, et où les stratégies de décodage bénéficient de heuristiques telles que la normalisation de longueur ou le blocage des répétitions. Dans ce travail, nous introduisons une calibration de la vraisemblance des séquences (SLiC), dans laquelle les vraisemblances des séquences générées par le modèle sont ajustées afin de mieux s’aligner avec les séquences de référence dans l’espace latent du modèle. Grâce à SLiC, les heuristiques de décodage deviennent inutiles et la qualité des candidats de décodage s’améliore significativement, indépendamment de la méthode utilisée. En outre, SLiC ne présente aucun signe de rendements décroissants avec l’augmentation de la taille du modèle, et ouvre des voies alternatives pour améliorer la qualité avec des budgets d’entraînement et d’inférence limités. Avec SLiC, nous surpassons ou égalons les résultats de l’état de l’art sur une large gamme de tâches de génération, incluant la synthèse abstraite, la génération de questions, la réponse abstraite aux questions et la génération de texte à partir de données, même avec des modèles de taille modeste.