Maverick: 최근의 경향에 도전하는 효율적이고 정확한 공참 해결 방법

대형 자기 회귀 생성 모델은 여러 자연어 처리 작업에서 최고의 성능을 달성하는 데 있어 핵심적인 역할을 하고 있습니다. 그러나 우수한 결과를 얻기 위한 열망은 때때로 충분한 실험 없이 신중하게 설계된 작업 특화 접근 방식을 조기에 대체하는 결과를 초래했습니다. 공통 참조 해결(Corefence Resolution) 작업도 예외는 아닙니다. 최근의 모든 최신 기술은 대형 생성 자기 회귀 모델을 채택하여 인코더 기반 판별 시스템보다 우수한 성능을 보여주고 있습니다. 본 연구에서는 이러한 최근 추세에 도전하기 위해 Maverick이라는 신중하게 설계되었지만 간단한 파이프라인을 소개합니다. 이 파이프라인은 학술 예산 제약 내에서 최신 공통 참조 해결 시스템을 실행할 수 있으며, 130억 개의 매개변수를 가진 모델보다 5억 개의 매개변수만으로도 더 우수한 성능을 발휘합니다. Maverick은 CoNLL-2012 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전 최신 시스템과 비교해 메모리 자원 사용량이 최대 0.006배로 줄고 추론 속도가 170배 더 빠릅니다. 우리는 다양한 실험들을 통해 Maverick 프레임워크의 견고성을 철저히 검증하였으며, 데이터 부족, 장문서, 그리고 외부 영역 설정에서 이전 시스템들보다 향상된 성능을 보고합니다. 연구 목적으로 우리의 코드와 모델을 https://github.com/SapienzaNLP/maverick-coref 에 공개합니다.