Two-step 프로세스를 활용한 Bert의 DocRED에 대한 파인튜닝

최근 다수의 실체 간 관계를 모델링하는 것에 대한 관심이 점점 증가하고 있으며, 문서 수준의 관계 추출 연구를 촉진하기 위해 새로운 데이터셋인 DocRED가 수집되었다. 현재 이 작업을 위한 기준 모델들은 전체 문서를 인코딩하기 위해 BiLSTM을 사용하고 있으며, 초기부터 학습을 수행한다. 그러나 우리는 이러한 단순한 기준 모델이 실체 간 복잡한 상호작용을 충분히 모델링하기에는 부족하다고 주장한다. 본 논문에서는 이 작업에 대해 사전 훈련된 언어 모델(BERT)을 적용하여 더 강력한 기준 모델을 제안한다. 또한, 이 작업을 단계적으로 해결하는 것이 성능을 더욱 향상시킬 수 있음을 발견하였다. 첫 번째 단계는 두 실체 간에 관계가 존재하는지 여부를 예측하는 것이고, 두 번째 단계는 구체적인 관계 유형을 예측하는 것이다.