CommonGen：面向生成式常识推理的约束文本生成挑战

近年来，大规模预训练语言模型在多个常识推理基准数据集上展现出令人瞩目的性能。然而，如何让机器具备常识能力并生成符合现实情境的连贯语句，仍然是一个重大挑战。本文提出了一项受约束的文本生成任务——CommonGen，并配套构建了一个基准数据集，旨在显式评估机器在生成式常识推理方面的能力。给定一组常见概念（例如：{狗，飞盘，接，扔}），任务要求生成一句连贯的句子，描述一个日常场景（例如：“一个人扔出一个飞盘，他的狗接住了”）。CommonGen任务具有挑战性，主要源于其内在需求：1）需要结合背景常识知识进行关系推理；2）需具备对未见过的概念组合进行组合泛化的能力。我们所构建的数据集通过众包与现有图像描述语料库相结合的方式创建，包含35,000个独特的概念组合，共79,000条常识性描述。实验结果表明，当前最先进的文本生成模型（如T5）与人类表现之间仍存在显著差距。此外，我们还证明，通过该任务学习到的生成式常识推理能力可有效迁移至下游任务，例如通过生成额外上下文信息来提升CommonsenseQA的表现。