시간 민감형 질문 해결을 위한 프로그래밍으로서의 질의 응답

질문 응답은 인간의 일상생활에서 지식을 획득하는 데 핵심적인 역할을 하며, 현실 세계에 대한 이해를 가능하게 한다. 그러나 현실 세계의 사실이 동적으로 변화하는 특성상, 질문에 시간 제약 조건이 포함될 경우 응답이 완전히 달라질 수 있다. 최근 대규모 언어 모델(Large Language Models, LLMs)은 질문 응답 분야에서 놀라운 지능을 보여주고 있으나, 우리의 실험 결과에 따르면 기존의 LLMs는 여전히 이러한 문제에 큰 도전에 직면해 있다. 이는 LLMs가 표면적 텍스트 의미 기반의 엄밀한 추론을 수행하지 못하기 때문으로 판단된다. 이러한 한계를 극복하기 위해, LLMs가 질문에 직접 응답하도록 요구하는 기존 방식 대신, 질문 응답을 프로그래밍으로 재정의하는 새로운 접근법인 $\textbf{Q}$uestion $\textbf{A}$nswering $\textbf{a}$s $\textbf{P}$rogramming ($\textbf{QAaP}$)을 제안한다. 구체적으로, 현대 LLMs가 자연어와 프로그래밍 언어를 모두 효과적으로 이해할 수 있는 능력을 활용하여, 다양한 방식으로 표현된 텍스트를 잘 구조화된 코드로 표현하고, 프로그래밍을 통해 여러 후보 응답 중 가장 적절한 것을 선택하는 방식을 도입한다. 제안한 QAaP 프레임워크는 여러 시간 민감형 질문 응답 데이터셋에서 평가되었으며, 강력한 기준 모델 대비 최대 $14.5\%$의 성능 향상을 달성하였다. 본 연구의 코드 및 데이터는 https://github.com/TianHongZXY/qaap 에 공개되어 있다.