要約
本研究では、事前学習済みのBERTモデルの微調整に焦点を当て、特許分類への応用を行いました。200万件以上の特許の大規模データセットに対して適用した結果、単語埋め込みを使用するCNNに基づく手法よりも優れた性能を示しました。さらに、特許文書の他の部分ではなく、特許請求の範囲（claims）にのみ焦点を当てました。本研究の貢献は以下の通りです：(1) 事前学習済みのBERTモデルと微調整を用いた新しい最先端の特許分類手法、(2) 未来の研究者たちが利用できるCPCサブクラスレベルでの大規模データセットUSPTO-3MおよびSQL文、(3) 常識とは異なり、特許請求の範囲のみで分類タスクが十分であることを示しています。