OpenAI联合创始人警告：AI远非完美，仍需谨慎监督

OpenAI联合创始人Andrej Karpathy在本周由Y Combinator举办的活动上发表主旨演讲，提醒人们在对待人工智能（AI）时应当保持谨慎。尽管当前大型语言模型（LLM）的表现已十分接近人类，但它们仍然会犯下一些人类绝不会犯的错误。Karpathy将这些模型比喻为“人灵”——能够模拟人类智能，但会在事实判断上产生错觉，缺乏自我认知，并可能遭遇“失忆”。例如，它们可能会坚持认为9.11大于9.9，或者“草莓”这个词中有两个R。 即使某些AI能够在几秒钟内编写出数万行代码，Karpathy依然强调，开发人员不应完全放手让AI自行其是。开发者仍然是质量控制的关键角色，必须确保代码不引入新的错误。“我依然是瓶颈，”他在讲话中指出，“我必须要保证这个东西不会引入bug。”他建议开发者应该采取更具体、逐步的提示策略，确保每一段生成的代码都能被及时验证。这样做不仅能提高最终代码的质量，还能加快项目进度。 此外，Karpathy呼吁开发者减少对于AI技术的过度依赖，不要因为其高效而忽视了必要的监督。他提倡的“vibe coding”概念，即借助AI来完成编码，但开发人员需要时刻关注并引导最终结果，而非放任不管。“有时候你需要后退一步，重新审视这些系统正在做的事情，”他说。 其他业内专家也表达了类似的担忧。OpenAI前研究部负责人Bob McGrew在同一周的“Training Data”播客节目中提到，人类工程师不仅是AI的指导者，更需要介入解决复杂问题，将大问题拆解成小问题供AI处理。另一位行业内的重量级人物Kent Beck，敏捷宣言的签署者之一，在“Pragmatic Engineer”播客中将AI类比为“精灵”，虽然它能满足人的愿望，但未必如愿以偿。Beck认为，AI的结果极为不稳定，有时甚至像赌博一样不可预测。 尽管如此，许多顶级科技公司仍在积极推进AI在软件开发中的应用。例如，Alphabet的CEO Sundar Pichai透露，该公司新编写的代码中，已有超过30%是由AI完成的，这一比例还较去年有所增加。这表明了业界对于AI在未来编码领域的乐观态度。 业内人士普遍认为，AI技术虽有巨大潜力，但现在仍处于早期阶段，需要通过更精细的管理与监督，才能最大化其价值。OpenAI作为全球领先的AI研究机构之一，致力于开发和推广安全且有用的AI技术，Karpathy的观点反映了该公司对技术和伦理问题的高度警惕。