WiC-TSV: 맥락 내 단어의 타겟 의미 검증을 위한 평가 기준

우리는 단어의 의미 해석을 위한 다중 도메인 평가 벤치마크인 WiC-TSV를 제안한다. 구체적으로, 문맥 속 단어의 타겟 의미 검증(Target Sense Verification)을 위한 프레임워크를 도입하며, 이 프레임워크는 이진 분류 작업으로 정의됨에 따라 외부 의미 사전(external sense inventories)에 종속되지 않고, 다양한 도메인을 포괄한다는 점에서 독창성을 지닌다. 이러한 특성은 다양한 모델 및 시스템이 도메인 내외에서 평가될 수 있도록 매우 유연한 데이터셋을 제공한다. WiC-TSV는 모델에 제공되는 입력 신호에 따라 세 가지 다른 평가 설정을 제공한다. 최신 언어 모델을 활용하여 데이터셋에서 기준 성능을 설정하였다. 실험 결과, 이러한 모델들이 이 작업에서 비교적 우수한 성능을 보이긴 하지만, 특히 도메인 외부(Out-of-domain) 설정에서 인간과 기계 간의 성능 격차가 여전히 존재함을 확인할 수 있었다. WiC-TSV 데이터는 다음 링크에서 제공된다: https://competitions.codalab.org/competitions/23683