摘要
在本研究中，我们专注于对预训练的BERT模型进行微调，并将其应用于专利分类。当应用于超过两百万件专利的大规模数据集时，我们的方法优于使用卷积神经网络（CNN）和词嵌入的方法。此外，我们仅关注专利文档中的权利要求部分，而忽略其他部分。我们的贡献包括：(1) 基于预训练BERT模型和微调的新颖专利分类方法，该方法达到了当前最佳水平；(2) 提供了一个包含300万件美国专利的大型数据集USPTO-3M，该数据集按CPC子类级别划分，并附有可用于未来研究的SQL语句；(3) 证明了仅凭专利权利要求即可完成分类任务，这与传统观点相反。