관련 없는 컨텍스트에 대한 저항성 향상을 위한 리트리벌 보강형 언어 모델 연구

검색 증강형 언어 모델(RALMs)은 사실적이고 효율적이며 최신 정보를 반영하는 언어 이해 시스템의 구현 가능성을 지닌다. RALMs의 중요한 요구사항 중 하나는, 검색된 정보가 관련성이 있을 경우 모델 성능을 향상시켜야 하며, 관련이 없을 경우 성능 저하를 초래해서는 안 된다는 점이다. 특히 다단계 추론(multi-hop reasoning) 상황에서는 부적절한 증거를 오용할 경우 오류가 누적되는 ‘연쇄적 오류(cascading errors)’가 발생할 수 있으므로, 이는 더욱 중요하다. 그러나 최근 연구들은 검색 증강이 때때로 성능에 부정적인 영향을 미칠 수 있음을 지적하고 있다. 본 연구에서는 다섯 가지 오픈 도메인 질의응답 벤치마크를 대상으로 철저한 분석을 수행하여, 검색이 정확도를 저하시키는 경우를 규명한다. 이후 이러한 문제를 완화하기 위한 두 가지 방법을 제안한다. 첫 번째로, 자연어 추론(NLI) 모델을 기반으로 질문-답변 쌍을 함의하지 않는 검색된 문단을 사전에 필터링하는 간단한 베이스라인 방법을 제안한다. 이 방법은 성능 저하를 효과적으로 방지하지만, 관련 문단도 함께 제거하는 단점이 있다. 이를 보완하기 위해, 학습 시 관련 및 비관련 문맥을 혼합하여 사용하는 방식으로 자동으로 데이터를 생성하고, 이를 통해 언어 모델이 검색된 문맥을 적절히 활용하도록 미세조정(fine-tune)하는 방법을 제안한다. 실험적으로 1,000개의 예시만으로도 관련 문맥이 있는 예시에서 높은 성능을 유지하면서 비관련 문맥에 대해 강건한 모델을 학습할 수 있음을 입증하였다.