HyperAIHyperAI

Command Palette

Search for a command to run...

Console

Neurones H : Existence, impact et origine des neurones associés aux hallucinations dans les grands modèles linguistiques

Cheng Gao Huimin Chen Chaojun Xiao Zhiyi Chen Zhiyuan Liu Maosong Sun

Abstract

Les modèles linguistiques massifs (LLM) produisent fréquemment des hallucinations — des sorties plausibles mais factuellement incorrectes — ce qui compromet leur fiabilité. Bien que des travaux antérieurs aient examiné les hallucinations sous un angle macroscopique, par exemple en se concentrant sur les données d'entraînement ou les objectifs, les mécanismes microscopiques au niveau des neurones restent largement inexplorés. Dans cet article, nous menons une investigation systématique des neurones associés aux hallucinations (H-Neurons) dans les LLM à partir de trois angles : identification, impact comportemental et origine. En ce qui concerne leur identification, nous démontrons qu’un sous-ensemble remarquablement restreint de neurones (moins de 0,1 % du total) peut prédire de manière fiable la survenue des hallucinations, avec une forte généralisation à travers divers scénarios. En ce qui concerne l’impact comportemental, des interventions contrôlées révèlent que ces neurones sont causalement liés à des comportements d’hyper-conformité. Quant à leurs origines, nous remontons ces neurones jusqu’aux modèles de base pré-entraînés et constatons qu’ils conservent leur capacité prédictive pour la détection des hallucinations, ce qui indique qu’ils émergent durant la phase de pré-entraînement. Nos résultats permettent de relier les motifs comportementaux macroscopiques aux mécanismes neuronaux microscopiques, offrant ainsi des perspectives pour le développement de LLM plus fiables.


Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp