近期，人工智能领域在检索增强生成应用的评估环节暴露出显著的过拟合风险。开发团队在迭代中常陷入典型误区：发现评估问题后直接修复，并反复在相同数据集上重测。此举虽能快速推高得分，却使评估集异化为训练集，严重削弱模型泛化能力。 传统机器学习强调测试集必须保持未见过状态，而RAG场景下该界限极易模糊。常见诱因包括直接基于评估集调优提示词、仅选取系统已知擅长案例，或基于已入库文档反向生成测试题。此类操作导致模型记忆特定数据，一旦投入生产环境，实际性能将大幅缩水。 业界强调，此现象本质是流程纪律缺失而非单纯技术漏洞。过度追求指标优化易引发古德哈特定律效应，即指标脱离真实业务目标。为打破困局，团队须建立严格隔离的测试集，确保问题构造独立于系统历史表现，并对异常高分保持审慎。唯有恪守评估规范，方能确保RAG系统在生产环境中的鲁棒性与长期可靠性。