초록
다양한 자연어 처리(NLP) 작업에서 대규모 언어 모델(LLM)이 성공을 거두고 있음에도 불구하고, 이러한 모델에 저장된 지식은 불가피하게 불완전하거나 오래되었으며, 때로는 잘못된 정보를 포함할 수 있다. 이에 따라 LLM을 보조하기 위해 외부 지식을 활용할 필요성이 제기된다. 그러나 현재까지의 외부 지식 통합 방법들은 추가적인 학습이나 미세 조정(fine-tuning)을 요구하는 경우가 많아 비용이 많이 들며, LLM에 적용하기에 현실적으로 어려울 수 있다. 이러한 문제를 해결하기 위해, 사고의 흐름(Chain-of-Thought, CoT) 프롬프팅을 통해 얻은 분해된 추론 단계를 기반으로 관련 외부 지식을 검색하는 새로운 후처리 기법인 '검색을 통한 재고찰(Retrieving and Rethinking, RR)'을 제안한다. 이 경량화된 접근 방식은 추가 학습이나 미세 조정이 필요 없으며, LLM의 입력 길이 제한에도 영향을 받지 않는다. 우리는 GPT-3를 활용하여 공감각 추론, 시계적 추론, 표 형식 추론 등 세 가지 복잡한 추론 작업에서 RR의 효과를 광범위한 실험을 통해 평가하였다. 실험 결과, RR은 보다 신뢰할 수 있는 설명을 생성하고 LLM의 성능을 향상시킬 수 있음을 확인하였다.