15일 전

관련 없는 컨텍스트에 대한 저항성 향상을 위한 리트리벌 보강형 언어 모델 연구

Ori Yoran, Tomer Wolfson, Ori Ram, Jonathan Berant
관련 없는 컨텍스트에 대한 저항성 향상을 위한 리트리벌 보강형 언어 모델 연구
초록

검색 증강형 언어 모델(RALMs)은 사실적이고 효율적이며 최신 정보를 반영하는 언어 이해 시스템의 구현 가능성을 지닌다. RALMs의 중요한 요구사항 중 하나는, 검색된 정보가 관련성이 있을 경우 모델 성능을 향상시켜야 하며, 관련이 없을 경우 성능 저하를 초래해서는 안 된다는 점이다. 특히 다단계 추론(multi-hop reasoning) 상황에서는 부적절한 증거를 오용할 경우 오류가 누적되는 ‘연쇄적 오류(cascading errors)’가 발생할 수 있으므로, 이는 더욱 중요하다. 그러나 최근 연구들은 검색 증강이 때때로 성능에 부정적인 영향을 미칠 수 있음을 지적하고 있다. 본 연구에서는 다섯 가지 오픈 도메인 질의응답 벤치마크를 대상으로 철저한 분석을 수행하여, 검색이 정확도를 저하시키는 경우를 규명한다. 이후 이러한 문제를 완화하기 위한 두 가지 방법을 제안한다. 첫 번째로, 자연어 추론(NLI) 모델을 기반으로 질문-답변 쌍을 함의하지 않는 검색된 문단을 사전에 필터링하는 간단한 베이스라인 방법을 제안한다. 이 방법은 성능 저하를 효과적으로 방지하지만, 관련 문단도 함께 제거하는 단점이 있다. 이를 보완하기 위해, 학습 시 관련 및 비관련 문맥을 혼합하여 사용하는 방식으로 자동으로 데이터를 생성하고, 이를 통해 언어 모델이 검색된 문맥을 적절히 활용하도록 미세조정(fine-tune)하는 방법을 제안한다. 실험적으로 1,000개의 예시만으로도 관련 문맥이 있는 예시에서 높은 성능을 유지하면서 비관련 문맥에 대해 강건한 모델을 학습할 수 있음을 입증하였다.

관련 없는 컨텍스트에 대한 저항성 향상을 위한 리트리벌 보강형 언어 모델 연구 | 최신 연구 논문 | HyperAI초신경