Square One으로 돌아가기: 윈오프라드 스키마에서의 아티팩트 탐지, 훈련 및 일반적 지식의 분리

윈오프드 스키마(Winograd Schema, WS)는 모델의 일상지식 능력을 측정하기 위한 평가 지표로 제안된 바 있다. 최근 사전 훈련된 언어 모델 기반 접근법이 일부 WS 벤치마크에서 성능을 크게 향상시켰으나, 이 성능 향상의 근본 원인은 여전히 명확하지 않다. 본 논문은 WS에서 관측된 성과가 반드시 일상지식 추론 능력의 진보를 반영하는 것은 아니라는 주장을 제시한다. 이를 뒷받침하기 위해, 먼저 현재 WS 평가 방법이 최적의 형태가 아니며, 평가에 쌍둥이 문장(twin sentences)을 활용하는 개선된 방법을 제안한다. 또한 WS 벤치마크에 존재하는 아티팩트(artifacts)를 시사하는 두 가지 새로운 베이스라인을 제안한다. 이후, 사전 훈련 과정에서 획득한 일상지식 추론 능력을 반영하기 위해 WS 유사 문장에 대한 제로샷(zero-shot) 평가를 위한 방법을 개발한다. 그 결과, 더 엄격한 평가 기준을 적용했을 때, 대표적인 언어 모델들이 이 설정에서 무작위로 작동함을 관찰할 수 있었다. 결론적으로, 관측된 성과는 주로 WS 모델 훈련 시 감독 신호(supervision)의 사용에 기인하며, 이는 모든 요구되는 일상지식 추론 능력과 지식을 성공적으로 지원하기에는 부족할 가능성이 크다.