레이블 검토: 관계 추출을 위한 상위-k 예측 집합을 갖는 레이블 그래프 네트워크

관계 추출의 전형적인 방법은 작업에 특화된 데이터셋에서 사전 훈련된 대규모 언어 모델을 미세 조정한 후, 출력 분포에서 확률이 가장 높은 레이블을 최종 예측으로 선택하는 것이다. 그러나 주어진 샘플에 대한 Top-k 예측 집합의 활용은 흔히 간과된다. 본 논문에서는 먼저, 주어진 샘플의 Top-k 예측 집합이 올바른 레이블을 예측하는 데 유용한 정보를 포함하고 있음을 밝혀낸다. Top-k 예측 집합을 효과적으로 활용하기 위해, Top-k 예측 집합을 활용하는 레이블 그래프 네트워크(Label Graph Network with Top-k Prediction Set)를 제안하며, 이를 KLG라고 명명한다. 구체적으로, 주어진 샘플에 대해 Top-k 예측 집합 내 후보 레이블들을 검토하고 그 간의 관계를 학습하기 위해 레이블 그래프를 구축한다. 또한, 더 강력하고 구분력 있는 관계 표현을 학습하기 위해 동적 $k$ 선택 메커니즘을 설계하였다. 실험 결과, KLG는 세 가지 관계 추출 데이터셋에서 최고의 성능을 달성하였다. 또한, KLG가 긴 꼬리 분포(long-tailed) 클래스를 다루는 데 더 효과적임을 관찰하였다.