HyperAIHyperAI

Command Palette

Search for a command to run...

Neurones H : Existence, impact et origine des neurones associés aux hallucinations dans les grands modèles linguistiques

Cheng Gao Huimin Chen Chaojun Xiao Zhiyi Chen Zhiyuan Liu Maosong Sun

Résumé

Les modèles linguistiques massifs (LLM) produisent fréquemment des hallucinations — des sorties plausibles mais factuellement incorrectes — ce qui compromet leur fiabilité. Bien que des travaux antérieurs aient examiné les hallucinations sous un angle macroscopique, par exemple en se concentrant sur les données d'entraînement ou les objectifs, les mécanismes microscopiques au niveau des neurones restent largement inexplorés. Dans cet article, nous menons une investigation systématique des neurones associés aux hallucinations (H-Neurons) dans les LLM à partir de trois angles : identification, impact comportemental et origine. En ce qui concerne leur identification, nous démontrons qu’un sous-ensemble remarquablement restreint de neurones (moins de 0,1 % du total) peut prédire de manière fiable la survenue des hallucinations, avec une forte généralisation à travers divers scénarios. En ce qui concerne l’impact comportemental, des interventions contrôlées révèlent que ces neurones sont causalement liés à des comportements d’hyper-conformité. Quant à leurs origines, nous remontons ces neurones jusqu’aux modèles de base pré-entraînés et constatons qu’ils conservent leur capacité prédictive pour la détection des hallucinations, ce qui indique qu’ils émergent durant la phase de pré-entraînement. Nos résultats permettent de relier les motifs comportementaux macroscopiques aux mécanismes neuronaux microscopiques, offrant ainsi des perspectives pour le développement de LLM plus fiables.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Neurones H : Existence, impact et origine des neurones associés aux hallucinations dans les grands modèles linguistiques | Articles | HyperAI