大语言模型（LLM）近年来在性能上突飞猛进，但其核心缺陷始终未解：模型仅在 token 层面进行概率拟合，缺乏对语言的深层概念理解。典型表现如“reversal curse”——模型能回答“A 的孩子是 B”，却无法反推“B 的父母是谁”，暴露出其对关系与抽象概念的缺失。即便先进的推理模型（LRM）也常出现“推理错误但答案正确”的现象，说明其决策过程缺乏可解释性与一致性。针对这一根本问题，研究人员黄海及其团队提出一种基于第一性原理的解决方案：将视觉领域成熟的 JEPA（Joint Embedding Predictive Architecture）架构迁移至 LLM，旨在从机制上“理清”模型内部的概念结构。 JEPA 的核心思想是通过低层表示（如像素或文本）生成高层概念，并让这些概念之间具备相互预测能力，从而建立内在一致性。例如，“人脸”应更合理地预测“人手”而非“青蛙手”。研究团队从代码生成任务入手（如自然语言到正则表达式、SQL），因其具备清晰、对称的语义边界，适合作为验证平台。随后拓展至通用任务：GSM8K（问题→解题过程）、NQ-Open（问题→答案）、HellaSwag（上文→下文），均实现准确率提升20%以上。更关键的是，该方法显著增强模型鲁棒性，有效对抗过拟合。 在工程实现上，研究团队发现仅在25%的数据上应用JEPA，即可保持近似性能，同时将计算开销降低75%，为实际部署提供可能。该工作已被NeurIPS的UniReps与DL4C研讨会接收，评审高度评价其新颖性、鲁棒性与应用潜力。其中两项反馈尤为深刻：一是“预测 token”设计巧妙——不单独训练预测器，而是在输入后添加特殊 token，让模型沿用原有“前预测后”机制，既避免模式塌缩，又可复用预训练权重；二是嵌入空间分析显示，JEPA使原本混乱的向量空间变得高度结构化，近乎线性可映射，暗示模型内部概念组织更加清晰，为泛化能力提供支撑。 尽管存在计算开销与规模验证不足的批评，研究团队已在完整版中规划改进。该方法可无缝集成于各类预训练与微调流程，兼具提升准确率、降低过拟合、增强鲁棒性的优势。但黄海更看重其深层意义：推动LLM从“统计拟合”走向“真正理解”。通过JEPA，研究者有望揭示模型内部机制，构建真正具备常识与推理能力的智能系统。 黄海特别提及两件难忘之事：一是与Yann LeCun、Randall Balestriero等自监督学习奠基人合作，共同践行“自监督是智能核心组织原则”的信念；二是研究过程本身——从理论推导出发，实验逐一验证预测，体验到“爱因斯坦式”研究的纯粹之美。未来，团队计划拓展JEPA至更多任务场景，并深入探究嵌入结构与模型性能之间的因果关系，探索更高效机制。这不仅是技术突破，更是一次对AI本质的探索。