11일 전

스팬 표현 없이 핵심어 해결

Yuval Kirstain, Ori Ram, Omer Levy
스팬 표현 없이 핵심어 해결
초록

사전 훈련된 언어 모델의 도입으로 많은 복잡한 작업 특화 NLP 모델들이 간단한 경량 레이어로 축소되었다. 그러나 공명 해결(coreference resolution)은 이 경향에서 예외로, 사전 훈련된 트랜스포머 인코더에 고도로 발전된 작업 특화 모델을 추가하는 방식을 채택하고 있다. 비록 매우 효과적이지만, 이 모델은 동적으로 생성되는 스팬(span) 및 스팬 쌍(span-pair) 표현에 의해 주로 인해 매우 큰 메모리 사용량을 가지며, 이는 전체 문서 처리 및 한 번의 배치에서 여러 인스턴스를 동시에 훈련할 수 있는 능력을 제한한다. 본 연구에서는 스팬 표현, 수작업으로 구성한 특징, 휴리스틱 기법에 대한 의존성을 제거한 경량형 엔드투엔드 공명 해결 모델을 제안한다. 제안 모델은 현재 표준 모델과 경쟁 가능한 성능을 보이며, 동시에 더 단순하고 효율적이다.

스팬 표현 없이 핵심어 해결 | 최신 연구 논문 | HyperAI초신경