Adam Tauman Kalai Ofir Nachum Santosh S. Vempala Edwin Zhang

Résumé

Comme des élèves confrontés à des questions difficiles lors d’un examen, les grands modèles linguistiques ont parfois tendance à deviner lorsqu’ils sont incertains, produisant des énoncés plausibles mais erronés au lieu d’admettre leur incertitude. Ces « hallucinations » persistent même dans les systèmes les plus avancés et sapent la confiance. Nous soutenons que les modèles linguistiques hallucinent parce que les procédures d’entraînement et d’évaluation récompensent la devinette plutôt que l’admission de l’incertitude, et nous analysons les causes statistiques des hallucinations dans le pipeline d’entraînement moderne. Les hallucinations ne doivent pas être considérées comme mystérieuses : elles proviennent simplement d’erreurs dans une classification binaire. Si des énoncés erronés ne peuvent pas être distingués des faits, alors les hallucinations apparaîtront naturellement sous la pression statistique. Nous affirmons ensuite que ces hallucinations persistent en raison de la manière dont la plupart des évaluations sont notées : les modèles linguistiques sont optimisés pour être de bons candidats aux tests, et deviner lorsqu’ils sont incertains améliore leur performance. Ce « fléau » de sanctionner les réponses incertaines ne peut être résolu que par une intervention socio-technique : modifier le barème des benchmarks existants, qui sont mal alignés mais dominent les classements, plutôt que d’introduire de nouvelles évaluations spécifiques aux hallucinations. Ce changement pourrait orienter le domaine vers des systèmes d’intelligence artificielle plus fiables.