在医疗、金融、政府等受监管领域，构建AI系统评估基准面临巨大挑战：真实数据受隐私法规保护，难以获取，且标注成本高、样本稀缺，导致模型验证沦为“盲测”。为解决这一难题，可采用基于合成数据的隐私保护评估流程，实现安全、高效、可复现的AI评估。本文以急诊科分诊预测为例，展示如何利用NVIDIA NeMo Data Designer生成合成数据，并通过NeMo Evaluator完成模型评估。 首先，使用NeMo Data Designer生成数千条符合真实临床场景的合成护士分诊记录。通过定义结构化提示和约束条件，如患者年龄、临床情景、分诊等级（ESI 1-5）和写作风格，确保生成内容在术语、体征和语义上具有临床合理性。系统通过LLM自动生成记录，并利用另一个LLM作为“评审员”对生成内容进行质量评估，检查其临床连贯性与复杂度，自动过滤低质或错误样本。整个过程在几分钟内完成，无需使用任何真实患者数据。 生成的合成数据集随后上传至Hugging Face等数据存储平台，供后续评估使用。接着，使用NeMo Evaluator对大语言模型在该数据集上的表现进行自动化评估。通过自定义提示模板，让模型扮演急诊护士角色，仅输出ESI等级。评估指标采用“字符串匹配”方式，判断模型输出是否包含正确标签。该流程可集成到CI/CD管道中，实现每次模型更新后自动触发评估，确保持续验证。 通过分层评估不同复杂度的案例，可精准识别模型在简单与复杂场景下的表现差异——例如，某模型在明显症状的案例中表现良好，但在存在矛盾信息的复杂案例中易产生幻觉。这种细粒度分析为模型优化提供关键依据。 该方法突破了数据隐私与可用性的瓶颈，将传统耗时数月的评估流程压缩至数小时。通过合成数据生成与自动化评估的结合，企业可在不触碰真实数据的前提下，快速构建高保真、可复现的AI评估基准。该模式适用于医疗、金融、政务等对数据安全要求极高的行业，为AI在关键场景的落地提供坚实支撑。