Hallucination
Dans le domaine de l’intelligence artificielle (IA), une hallucination ou hallucination artificielle (également appelée confabulation ou délire) est une réponse générée par l’IA qui contient des informations fausses ou trompeuses présentées comme des faits. D'une manière générale, cela fait référence au phénomène selon lequel le contenu généré par le modèle est incompatible avec les faits du monde réel ou les entrées de l'utilisateur. La manière de filtrer efficacement les connaissances des experts et d’utiliser une expertise de haute précision pour l’apprentissage par renforcement afin de réaliser l’itération et la mise à jour de grands modèles est une méthode importante pour éliminer les illusions scientifiques.L’illusion et l’émergence de grands modèles relèvent du même principe.
Hallucinations dans le traitement du langage naturel
Dans le traitement du langage naturel, l’hallucination est souvent définie comme « un contenu généré qui n’a pas de sens ou qui n’est pas fidèle au contenu source fourni ». Il existe différentes manières de classer les hallucinations : intrinsèques et extrinsèques, selon que le résultat contredit la source ou ne peut pas être vérifié à partir de la source ; et domaine fermé et domaine ouvert, selon que la sortie contredit ou non l'invite, respectivement.
Causes des hallucinations dans le traitement du langage naturel
Il existe plusieurs raisons pour lesquelles les modèles de langage naturel peuvent halluciner les données.
- L'illusion des données
La principale raison de l’hallucination des données est le désaccord sur la référence de la source. Ce désaccord se produit soit (1) en raison d’une collecte de données heuristiques, soit (2) parce que la nature de certaines tâches NLG implique inévitablement un tel désaccord. Lorsqu'un modèle est formé sur des données présentant des divergences entre la source et la référence (cible), le modèle peut être encouragé à générer du texte qui n'est pas nécessairement bien fondé et fidèle à la source fournie.
- Illusions créées par des modèles
Il a été démontré que les hallucinations sont un sous-produit statistiquement inévitable de tout modèle génératif imparfait qui est entraîné pour maximiser la probabilité d'hallucinations pendant l'entraînement, comme le GPT-3, et qu'un apprentissage actif (comme l'apprentissage par renforcement à partir du retour d'information humain) est nécessaire pour les éviter. D’autres études adoptent une perspective anthropomorphique, affirmant que les hallucinations sont causées par une tension entre nouveauté et utilité. Par exemple, Teresa Amabile et Pratt définissent la créativité humaine comme la génération d’idées nouvelles et utiles.
Les erreurs d’encodage et de décodage entre le texte et la représentation peuvent provoquer des hallucinations. Lorsque l'encodeur apprend de fausses corrélations entre différentes parties des données d'entraînement, les informations d'erreur générées peuvent être différentes de celles de l'entrée. Le décodeur prend l'entrée codée de l'encodeur et génère la séquence cible finale. Deux aspects du décodage peuvent conduire à des hallucinations. Premièrement, le décodeur peut traiter la mauvaise partie de la source d’entrée codée, ce qui entraîne des erreurs. Deuxièmement, la conception même de la stratégie de décodage peut conduire à des illusions. Les stratégies de décodage qui augmentent la diversité des générations (par exemple, l’échantillonnage top-k) sont positivement corrélées à l’augmentation des hallucinations.
Références
【1】https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)