RepLiQA 是一个包含「上下文-问题-答案」三元组的评估数据集,其中上下文是非事实但看似自然的文档,内容是关于现实中不存在的虚构实体(例如人或地点)。 RepLiQA 是人工创建的,旨在测试大型语言模型 (LLM) 在提供的文档中查找和使用上下文信息的能力。与现有的问答数据集不同,RepLiQA 的非事实性使得模型的性能不会因 LLM 从训练数据中记忆事实的能力而受到干扰,人们可以更有信心地测试模型利用所提供上下文的能力。
RepLiQA 文档涵盖了 17 个主题或文档类别,包括公司政策、网络安全新闻、本地科技与创新、本地环境问题、地区民间传说和神话、本地政治与管理、新闻故事、本地经济与市场、本地教育体系、本地艺术与文化、本地新闻、中小企业、事件报告、地区美食与食谱、社区故事、本地体育与活动以及本地健康与福祉。非事实性文档在这些主题中被注释,涵盖了未在任何地方记录的虚构/编造实体。每个文档都附有 5 个问题-答案对。
做种 1
下载中 0
已完成 12
总下载 23