Halluzination

Im Bereich der künstlichen Intelligenz (KI) ist eine Halluzination oder künstliche Halluzination (auch Konfabulation oder Wahnvorstellung genannt) eine von KI generierte Reaktion, die falsche oder irreführende Informationen enthält, die als Tatsachen dargestellt werden. Im Allgemeinen bezieht es sich auf das Phänomen, dass der vom Modell generierte Inhalt nicht mit realen Fakten oder Benutzereingaben übereinstimmt. Die effektive Überprüfung von Expertenwissen und die Nutzung hochpräziser Fachkenntnisse für das bestärkende Lernen zur Iteration und Aktualisierung großer Modelle ist eine wichtige Methode zur Beseitigung wissenschaftlicher Illusionen.Illusion und Entstehung großer Modelle beruhen auf demselben Prinzip.

Halluzinationen in der natürlichen Sprachverarbeitung

In der Verarbeitung natürlicher Sprache wird Halluzination oft als „generierter Inhalt, der bedeutungslos ist oder dem bereitgestellten Quellinhalt nicht entspricht“ definiert. Es gibt verschiedene Möglichkeiten, Halluzinationen zu klassifizieren: intrinsische und extrinsische, je nachdem, ob die Ausgabe der Quelle widerspricht oder anhand der Quelle nicht verifiziert werden kann; und Closed-Domain und Open-Domain, je nachdem, ob die Ausgabe der Eingabeaufforderung widerspricht.

Ursachen von Halluzinationen bei der Verarbeitung natürlicher Sprache

Es gibt mehrere Gründe, warum natürliche Sprachmodelle Daten halluzinieren können.

• Die Illusion der Daten

Der Hauptgrund für Datenhalluzinationen sind Unstimmigkeiten hinsichtlich der Quellenangaben. Diese Meinungsverschiedenheit entsteht entweder (1) als Ergebnis der heuristischen Datensammlung oder (2) weil die Natur einiger NLG-Aufgaben solche Meinungsverschiedenheiten unvermeidlich mit sich bringt. Wenn ein Modell mit Daten trainiert wird, bei denen es Abweichungen zwischen Quelle und Referenz (Ziel) gibt, kann es dazu kommen, dass das Modell Text generiert, der nicht unbedingt fundiert ist und der bereitgestellten Quelle nicht entspricht.

• Illusionen durch Modelle

Es zeigt sich, dass Halluzinationen ein statistisch unvermeidbares Nebenprodukt jedes unvollkommenen generativen Modells sind, das darauf trainiert ist, die Wahrscheinlichkeit von Halluzinationen während des Trainings zu maximieren, wie beispielsweise GPT-3, und dass aktives Lernen (wie etwa Verstärkungslernen durch menschliches Feedback) erforderlich ist, um sie zu vermeiden. Andere Studien nehmen eine anthropomorphe Perspektive ein und argumentieren, dass Halluzinationen durch eine Spannung zwischen Neuheit und Nützlichkeit verursacht werden. Teresa Amabile und Pratt definieren beispielsweise menschliche Kreativität als die Entwicklung neuer und nützlicher Ideen.

Fehler bei der Kodierung und Dekodierung zwischen Text und Darstellung können Halluzinationen verursachen. Wenn der Encoder falsche Korrelationen zwischen verschiedenen Teilen der Trainingsdaten lernt, kann dies dazu führen, dass die generierten Fehlerinformationen von der Eingabe abweichen. Der Decoder übernimmt die codierte Eingabe vom Encoder und generiert die endgültige Zielsequenz. Zwei Aspekte der Dekodierung können zu Halluzinationen führen. Erstens kann es sein, dass der Decoder den falschen Teil der codierten Eingabequelle verarbeitet, was zu Fehlern führt. Zweitens kann die Gestaltung der Dekodierungsstrategie selbst zu Illusionen führen. Dekodierungsstrategien, die die Generationenvielfalt erhöhen (z. B. Top-k-Sampling), korrelieren positiv mit einer Zunahme von Halluzinationen.

Verweise

【1】https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)