초록
우리는 스팬 기반의 공동 엔티티 및 관계 추출을 위한 어텐션 모델인 SpERT를 소개한다. 본 연구의 핵심 기여는 BERT 임베딩에 대한 경량 추론 기반의 설계로, 이는 엔티티 인식 및 필터링, 그리고 국소화된 마커 없는 컨텍스트 표현을 통한 관계 분류를 특징으로 한다. 모델은 문장 내에서 강력한 음성 샘플(positive-negative samples)을 사용하여 훈련되며, 이러한 음성 샘플은 단일 BERT 통과 과정에서 효율적으로 추출된다. 이러한 특성들은 문장 내 모든 스팬에 대한 탐색을 가능하게 한다.추이 분석 실험을 통해 사전 훈련, 강력한 음성 샘플링, 국소화된 컨텍스트 표현의 효과를 입증하였다. 제안하는 모델은 공동 엔티티 및 관계 추출을 위한 여러 데이터셋에서 기존의 방법 대비 최대 2.6%의 F1 점수 향상을 달성하였다.