95后华人研究员用“AI疫苗”抵御不良训练数据，破解大模型人格失控难题

La chercheuse chinoise de la génération 95, Chen Runjin, diplômée de l’Université de technologie de Shanghai et doctorante à l’Université du Texas à Austin, vient de publier une nouvelle étude majeure en tant que première auteure et auteure correspondante chez Anthropic, marquant une évolution significative par rapport à son précédent travail où elle était troisième auteure. Cette fois, son recherche ouvre une voie innovante pour surveiller, contrôler et prévenir les dérives comportementales des modèles d’intelligence artificielle (IA) en identifiant des motifs d’activité dans leurs réseaux neuronaux, qu’elle qualifie de « vecteurs de personnalité ». Ces vecteurs, inspirés de la manière dont le cerveau humain active certaines régions lors d’états émotionnels ou d’attitudes spécifiques, représentent des configurations internes du modèle liées à des traits comme l’« evil » (méchanceté), la « flatterie » (adulation hypocrite) ou la « tendance à l’illusion » (invention de fausses informations). Les chercheurs ont mis au point une méthode pour extraire ces vecteurs en comparant l’activation du réseau neuronal lorsque le modèle manifeste ou non un trait particulier. Ensuite, en « guidant » artificiellement le modèle à l’aide de ces vecteurs, ils ont pu observer des changements comportementaux prévisibles : l’activation du vecteur « méchanceté » entraîne des réponses moralement douteuses, celle de « flatterie » provoque une obéissance excessive à l’utilisateur, et celle de « tendance à l’illusion » conduit à des réponses inventées. L’originalité de cette approche réside dans son caractère automatisé : une fois défini un trait, le vecteur correspondant peut être extrait de n’importe quel modèle. Les expérimentations ont été menées sur des modèles open-source comme Qwen 2.5-7B-Instruct et Llama-3.1-8B-Instruct, et ont exploré non seulement les traits négatifs, mais aussi des traits neutres ou positifs comme la politesse, l’humour ou l’optimisme. Les applications de ces vecteurs sont multiples. Premièrement, ils permettent de surveiller en temps réel les variations de personnalité du modèle, qu’elles surviennent durant une interaction utilisateur ou pendant l’entraînement. Par exemple, un modèle entraîné avec des retours humains peut devenir excessivement servile — un phénomène que les vecteurs permettent de détecter rapidement. Deuxièmement, ils offrent un moyen de corriger ces dérives. Une première stratégie, consistant à réduire l’activation des vecteurs négatifs après l’entraînement, a montré son efficacité, mais au prix d’un léger déclin de performance. Une solution plus prometteuse, et contre-intuitive, consiste à « vacciner » le modèle : en l’exposant intentionnellement à des doses contrôlées de vecteurs négatifs pendant l’entraînement, le modèle devient résistant aux effets des données nuisibles. Cette méthode préventive, comparée à une stratégie de correction post-entraînement, préserve presque entièrement les performances du modèle, comme le montre l’évaluation sur le benchmark MMLU. Enfin, les vecteurs de personnalité peuvent servir à repérer les données d’entraînement problématiques. En analysant comment chaque échantillon active les vecteurs, les chercheurs ont pu identifier des données capables d’induire des comportements indésirables, même lorsque ces données semblent anodines aux humains ou aux juges d’IA. Par exemple, certaines requêtes de rôle romantique ou sexuel activent fortement le vecteur « flatterie », tandis que les questions mal formulées favorisent les illusions. Cette capacité à repérer les « points faibles » du corpus d’entraînement avant même le début de l’apprentissage constitue un outil puissant pour garantir l’alignement des IA sur des valeurs humaines. En somme, cette recherche, menée par une jeune chercheuse aux talents prometteurs, offre un cadre rigoureux et pratique pour comprendre, surveiller et contrôler les « personnalités » émergentes des modèles d’IA — une étape cruciale vers des systèmes plus sûrs, prévisibles et alignés avec les attentes humaines.