신경적 쌍별 조건부 난수 필드를 활용한 초세밀 엔티티 타이핑을 위한 레이블 상관관계 모델링

초미세 실체 타입 지정(Ultra-fine entity typing, UFET)은 문장 내 주어진 실체 언급(entity mention)이 올바르게 설명하는 다양한 타입 표현을 예측하는 것을 목표로 한다. 최근 대부분의 연구들은 각 실체 타입을 독립적으로 추론하며, 타입 간의 상관관계를 무시한다. 예를 들어, 어떤 실체가 '대통령'으로 추론된다면, 동시에 '정치인'과 '리더'라는 타입도 가져야 한다는 점을 고려하지 않는다. 이를 해결하기 위해, 우리는 입력에 의해 단일하게 영향을 받는 것 외에도, 다른 모든 타입 변수들과 쌍으로 상호작용하는 타입 변수를 모델링할 수 있는 비방향 그래픽 모델인 쌍별 조건부 확률 필드(pairwise conditional random field, PCRF)를 사용하여 UFET 문제를 수식화한다. 실체 타입 예측을 위해 다양한 최신 백본 모델을 활용하여 단일 잠재력(unary potential)을 계산하고, 타입 표현을 통해 사전 의미 정보를 포착하면서도 추론 속도를 가속화할 수 있는 쌍별 잠재력(pairwise potential)을 도출한다. 매우 큰 타입 집합에 대한 효율적인 타입 추론을 위해 평균장 변분 추론(mean-field variational inference)을 사용하며, 이를 신경망 모듈로 전개하여 엔드투엔드 학습을 가능하게 한다. UFET에 대한 실험 결과, Neural-PCRF는 거의 추가 비용 없이 백본 모델들을 일관되게 초월하며, 크로스-엔코더 기반 최신 기법(SOTA)과 경쟁 가능한 성능을 달성하면서도 수천 배 이상 빠른 속도를 보였다. 또한, 더 작은 타입 집합을 가진 널리 사용되는 세분화된 실체 타입 지정 데이터셋에서도 Neural-PCRF의 효과성을 확인하였다. 본 연구에서는 Neural-PCRF를 다중 레이블 타입 분류기와 쉽게 통합할 수 있는 네트워크 모듈로 패키징하였으며, 공개된 리포지토리(https://github.com/modelscope/adaseq/tree/master/examples/NPCRF)를 통해 제공한다.