HyperAIHyperAI

Command Palette

Search for a command to run...

野外环境中的Text-to-SQL:基于Stack Exchange数据的自然发生数据集

Moshe Hazoom Vibhor Malik Ben Bogin

摘要

目前大多数可用的语义解析数据集均由自然语言语句与逻辑形式的配对构成,其收集目的仅限于自然语言理解系统的训练与评估。因此,这些数据集缺乏真实语境中自然出现的语句所具有的丰富性与多样性,而真实语境下的语句通常源于人类对所需数据或感兴趣信息的询问。在本研究中,我们发布了SEDE数据集,该数据集包含从Stack Exchange网站实际使用场景中收集的12,023组语句与SQL查询配对。我们证明,这些语句对包含了多种现实世界中的挑战,而这些挑战在以往任何其他语义解析数据集中都鲜有体现;为此,我们提出了一种基于部分查询子句对比的评估指标,该指标更适用于真实场景下的查询;此外,我们还基于强大的基线模型进行了实验,结果表明,模型在SEDE数据集上的表现与在其他常用数据集上的表现之间存在显著差距。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供