人工知能 (AI) の分野では、幻覚または人工幻覚 (フィクションまたは妄想とも呼ばれる) は、事実として提示される虚偽または誤解を招く情報を含む、人工知能によって生成される反応です。平たく言えば、モデルによって生成されたコンテンツが現実世界の事実やユーザー入力と矛盾する現象を指します。専門知識を効果的にスクリーニングし、高精度の専門知識を強化学習に使用して大規模モデルの反復と更新を実現する方法は、科学的幻想を排除するための重要な方法です。大きなモデルの錯覚と出現は同じ原理に基づいています。
自然言語処理では、幻覚は通常、「意味のない、または提供されたソース コンテンツに忠実ではない、生成されたコンテンツ」と定義されます。幻覚を分類するにはさまざまな方法があります。出力がソースと矛盾するかソースから検証できないかどうかに応じて、内因性幻覚と外因性幻覚、出力が手がかりと矛盾するかどうかに応じて、それぞれ閉鎖領域と開放領域です。
自然言語モデルがデータの幻覚を引き起こす理由はいくつかあります。
データ幻覚の主な原因は、ソース参照の相違です。この相違は、(1) ヒューリスティック データ収集の結果として、または (2) 一部の NLG タスクの性質上、必然的にこのような相違が発生するために発生します。ソース参照 (ターゲット) に差異があるデータでモデルがトレーニングされると、モデルは、必ずしも十分な根拠があり、提供されたソースに忠実ではないテキストを生成することが奨励される可能性があります。
幻覚は、GPT-3 などの幻覚の可能性を最大化するようにトレーニングされた不完全な生成モデルの統計的に避けられない副産物であることが示されており、幻覚を回避するには能動学習 (人間のフィードバックからの強化学習など) が必要です。他の研究は擬人化的な観点を採用し、幻覚は新規性と有用性の間の緊張から生じると主張しています。たとえば、テレサ・アマービレとプラットは、人間の創造性を斬新で有用なアイデアの生成と定義しています。
テキストと表現の間のエンコードおよびデコードのエラーは、幻覚を引き起こす可能性があります。エンコーダーがトレーニング データの異なる部分間の誤った相関を学習すると、入力とは異なる誤った情報が生成される可能性があります。デコーダはエンコーダからエンコードされた入力を受け取り、最終的なターゲット シーケンスを生成します。デコードには 2 つの側面があり、幻覚を引き起こす可能性があります。まず、デコーダがエンコードされた入力ソースの間違った部分を処理し、エラーが発生する可能性があります。第 2 に、デコード戦略の設計自体が幻覚を引き起こす可能性があります。生成的多様性を高めるデコード戦略 (top-k サンプリングなど) は、幻覚の増加と正の相関があります。
【1】https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)