摘要
法律任务和数据集常被用作评估语言模型能力的基准。然而，公开可用的标注数据集却较为罕见。在本文中，我们介绍了AGB-DE，这是一份由法律专家标注并进行法律评估的包含3,764条德国消费者合同条款的语料库。我们还展示了检测潜在无效条款任务的第一个基线模型，比较了支持向量机（SVM）基线模型与三种微调后的开放语言模型以及GPT-3.5的性能。我们的结果显示该任务具有挑战性，所有方法的F1分数均未超过0.54。尽管微调后的模型在精确度方面通常表现更好，但GPT-3.5在召回率方面超过了其他方法。对错误的分析表明，主要挑战之一可能是正确解释复杂条款，而非决定什么是允许的、什么是不允许的决策边界。