微软发布UserLM-8B：专为模拟对话中的“用户”角色而设计

微软发布全新语言模型UserLM-8b，专为模拟对话中的“用户”角色而设计。与传统以“助手”身份回应的大型语言模型不同，UserLM-8b通过在大规模对话数据集WildChat上进行训练，学习预测用户在对话中的发言，从而实现更真实、多样化的用户行为模拟。 该模型以“任务意图”作为输入，可生成三类输出：首次用户发言、基于对话状态的后续回应，以及在对话结束时输出特殊标记<|endconversation|>。其主要用途是帮助研究人员在评估助手类大模型时，构建更具真实性的多轮对话场景，从而更准确地衡量助手模型在复杂交互中的表现。 UserLM-8b由微软研究院（MSR）团队开发，包括实习生Tarek Naous、Philippe Laban、Wei Xu和Jennifer Neville。模型基于Llama3-8b-Base进行全参数微调，使用2048 token的最大序列长度，在四块NVIDIA RTX A6000 GPU上训练了约227小时。训练数据为经过筛选的WildChat-1M语料库。 评估结果显示，UserLM-8b在多个维度优于现有方法：在分布一致性（困惑度更低）、用户行为模拟的六个核心指标（如信息分摊、适时结束对话）上全面领先，并在数学问题求解和编程任务模拟中展现出更高的多样性与挑战性，使助手模型表现下降，验证了其模拟真实用户的能力。 尽管如此，模型仍存在局限：可能偏离原始任务意图，或“幻觉”出未提供的额外要求，影响任务一致性；且目前仅针对英文优化，其他语言性能尚待验证。模型继承了基础模型及训练数据中的偏见与错误，且未经过系统性安全加固，可能面临提示注入等风险。 微软明确指出，UserLM-8b为研究用途发布，不适用于实际用户任务支持，也不推荐用于商业场景。建议使用者参考论文附录中的生成控制策略（如首词过滤、避免过早终止等）进行适配。