人工智能为何难以全面理解“花朵”:缺乏感官体验限制了其概念认知
即使拥有所有的训练数据和计算能力,像ChatGPT这样的AI工具也无法像人类一样理解花朵的概念。这一发现来自一项由俄亥俄州立大学心理学博士后研究员许琪慧(Qihui Xu)领导的新研究。研究表明,大型语言模型(LLMs)主要是基于语言训练的,有时会辅以图像,但缺乏触觉、视觉、听觉和嗅觉等感官经验,无法全面而深刻地表示诸如“花”这样的概念。 研究人员通过比较人类和两种最新的LLM家族(OpenAI的GPT-3.5和GPT-4,Google的PaLM和Gemini)在4,442个词项上的知识表示进行了实验。实验采用了两项指标:格拉斯哥规范(Glasgow Norms)和兰卡斯特规范(Lancaster Norms)。其中,格拉斯哥规范评估了词汇在情绪唤醒度、具体性和可想象性等九个维度上的评级;而兰卡斯特规范则考察了词汇概念与感官信息(如触摸、听觉、嗅觉、视觉)及动作信息(如手、臂、躯干等部位的动作)的关系。 结果显示,LLMs在没有感官或动作关联的词汇表示上表现优异,但在涉及感官和身体接触的词汇上,AI未能全面捕捉人类的概念。例如,对于“花”这个词,人类不仅基于其气味,还包括触摸花瓣时的丝滑感和由此引发的情感愉悦,将其综合为一个连贯的类别。然而,由于大多数LLMs依赖于语言,这种学习方式难以完全重现人类多元化的概念表示。 许琪慧指出,即使LLMs通过消耗大量的文本数据来获取知识,其数量远超一个人一生中接触到的全部文本,仍然无法完美捕捉某些人类概念。这表明,人类的经验远比文字本身更为丰富和复杂。 此外,研究还发现,结合图像和文本训练的LLMs在表示与视觉相关的概念方面优于仅仅基于文本的模型。许琪慧认为,未来如果这些模型能够进一步融合传感器数据和机器人技术,或许能够更主动地推断和作用于物理世界,从而更好地模拟人类的概念理解。 业内人士普遍认为,这项研究揭示了当前AI技术的一个重要局限,即依赖单一模态数据的模型无法全面捕捉人类多样的感知体验。这不仅有助于学术界深入理解AI与人类认知的差异,也有助于推动技术和算法的发展,使其更加贴近人类的思维方式。参与该研究的合作作者分别是来自香港理工大学的彭颖莹、李萍、吴明华,普林斯顿大学的塞缪尔·纳斯塔斯和纽约市立大学的马丁·乔多罗。
