Vihari Piratla Purvam Jain Darshan Singh Partha Talukdar Trevor Cohn

초록

웹 또는 대규모 코퍼스 내에서 어떤 지식도 일반적으로 하나 또는 몇 가지 자연어로 표현된다. 대규모 언어 모델(Large Language Models, LLMs)은 원본 언어에서 지식을 학습하여 대상 언어로 쿼리가 이루어졌을 때도 이를 활용할 수 있도록 연결고리 역할을 한다. 기존 연구들은 다언어 간 격차(cross-lingual gap)를 지적한 바 있다. 즉, 쿼리가 원본 언어로 이루어졌을 때와 비교해 대상 언어로 쿼리할 경우 정확도가 저하되는 현상이다. 기존 연구들은 이 격차의 원인으로 원본 언어와 대상 언어 간 잠재 표현(latent representations)의 차이를 지적해왔다. 본 연구에서는 이에 대비하여 대안적 관점을 제시하고, 대상 언어에서의 응답 변동성(variance of responses)이 이 격차의 주요 원인이라는 가설을 제안한다. 본 연구에서는 처음으로 다언어 간 격차를 편향-분산 분해(bias-variance decomposition)의 관점에서 체계적으로 정의한다. 제안된 공식화 및 가설을 뒷받침하는 광범위한 실험적 증거를 제시하며, 다양한 추론 시 간섭(inference-time interventions)를 통해 응답의 변동성을 제어함으로써 가설을 추가로 검증한다. 또한, 응답 변동성을 줄이는 간단한 프롬프트 지시어(prompt instruction)를 제시하여, 다양한 모델에서 대상 언어 정확도를 평균 20~25% 향상시켰음을 실험적으로 입증한다.