幻觉 Hallucination

在人工智能 (AI) 领域,幻觉 (Hallucination) 或人工幻觉(也称为虚构或妄想)是人工智能生成的响应,其中包含作为事实呈现的虚假或误导性信息。通俗来讲是指模型生成的内容与现实世界事实或用户输入不一致的现象。如何有效筛选专家知识,并利用高精准度的专业知识进行强化学习,实现大模型的迭代和更新,是消除科学幻觉的重要方法。大模型的幻觉和涌现是同一个原理。

自然语言处理中的幻觉

在自然语言处理中,幻觉通常被定义为「生成的内容是无意义的或不忠实于所提供的源内容」。对幻觉进行分类有不同的方法:根据输出是否与来源相矛盾或无法从来源验证,可以分为内在的和外在的;根据输出是否与提示相矛盾,可以分别分为闭域和开域。

自然语言处理中出现幻觉的原因

自然语言模型产生数据幻觉的原因有多种。

  • 数据产生的幻觉

数据产生幻觉的主要原因是源参考分歧。这种分歧的发生是由于:(1) 作为启发式数据收集的产物,或者 (2) 由于某些 NLG 任务的性质不可避免地包含这种分歧。当模型在具有源参考(目标)差异的数据上进行训练时,可以鼓励模型生成不一定有根据且不忠实于所提供源的文本。

  • 模型产生的幻觉

幻觉被证明是任何不完美的生成模型在统计上不可避免的副产品,这些模型经过训练来最大化训练出现幻觉的可能性,例如 GPT-3,并且需要主动学习(例如来自人类反馈的强化学习)来避免幻觉。其他研究采用拟人化的视角,认为幻觉是由新颖性和实用性之间的紧张关系引起的。例如,特雷莎·阿马比尔和普拉特将人类创造力定义为新颖且有用的想法的产生。

文本和表示之间的编码和解码错误可能会导致幻觉。当编码器了解到训练数据不同部分之间的错误相关性时,可能会导致生成与输入不同的错误信息。解码器从编码器获取编码输入并生成最终目标序列。解码的两个方面会导致幻觉。首先,解码器可能会处理编码输入源的错误部分,从而导致错误生成。其次,解码策略本身的设计可能会导致幻觉。提高生成多样性的解码策略(例如 top-k 采样)与幻觉的增加呈正相关。

参考来源

【1】https://en.wikipedia.org/wiki/Hallucination_(artificial_intelligence)