Meta首席人工智能科学家Yann LeCun：扩大规模并非提升AI智能的有效途径

Meta首席人工智能科学家Yann LeCun在星期日于新加坡国立大学的一次演讲中表示，单纯扩大规模不足以使人工智能更智能。多年来，人工智能领域一直遵循“scaling law”，即模型性能主要取决于三个因素：模型参数数量N（不包括嵌入）、数据集大小D以及用于训练的计算量C。OpenAI的研究人员在2020年的开创性论文《神经语言模型的规模法则》中详细阐述了这一观点。然而，LeCun认为这种做法并不能解决复杂问题，因为大多数有趣的问题并不会随着数据和算力的增加而变得更容易解决。 LeCun批判了将简单系统应用于复杂问题的做法，他认为这种做法误导了许多人。尽管当前最大的语言模型已经接受了相当于4岁儿童视觉皮层信息量的训练，但它们依然无法应对充满模糊性和不确定性的现实世界问题。他认为，未来的AI需要能够快速学习新任务，理解物理世界，具备一定程度的常识，以及推理和规划的能力，并且拥有持久的记忆——这些都是智能实体应该具备的基本素质。 此外，他强调了构建世界模型的重要性，与大型语言模型不同，世界模型不仅仅基于模式预测下一步动作，还能预测执行某个行动后世界将会如何变化。LeCun在去年的一期Lex Fridman的播客节目中曾提到，大型语言模型的预测能力受限于其只能根据模式推断接下来的动作，而世界模型则具有更高层次的认知功能。 近年来，AI的进步有所放缓，原因之一是可用的公共数据资源逐渐枯竭。LeCun并不是唯一质疑规模扩张的权威研究者，Scale AI公司的CEO Alexandr Wang去年在Cerebral Valley会议上称，规模增长问题是行业面临的最大挑战；而Cohere公司的CEO Aidan Gomez则直接批评大规模扩展是改善模型的最“愚蠢”方法。这些专家均认为，为了达到真正的人工智能，业界需要转向更加实际、面向世界的培训策略，而非一味追求算力和数据量的增长。