초록
본 연구에서는 사전 훈련된 BERT 모델의 미세 조정(fine-tuning)을 수행하고 이를 특허 분류에 적용하는 데 중점을 두었습니다. 200만 건 이상의 대규모 특허 데이터셋에 적용할 때, 본 접근법은 단어 임베딩(word embeddings)을 사용한 CNN 기반 방법보다 우수한 성능을 보였습니다. 또한, 우리는 특허 문서의 다른 부분이 아닌 특허 청구 범위(claims)에 집중하였습니다. 본 연구의 주요 기여점은 다음과 같습니다: (1) 사전 훈련된 BERT 모델과 미세 조정(fine-tuning)을 기반으로 한 새로운 최첨단 특허 분류 방법, (2) 미래 연구자들이 활용할 수 있는 SQL 문장과 함께 CPC 하위 클래스 수준에서 구성된 대규모 데이터셋 USPTO-3M, (3) 전통적인 견해와 달리 특허 청구 범위(claims)만으로도 분류 작업이 충분하다는 점을 입증하였습니다.