Ali Montazeralghaem Guy Tennenholtz Craig Boutilier Ofer Meshi

초록

대규모 언어 모델(Large Language Models, LLMs)의 발전으로 인해 추천 시스템은 사용자와 자유롭고 개방적인 대화형 인터페이스를 통해 상호작용할 수 있게 되었다. 이러한 상호작용을 통해 사용자의 선호도를 개인화하기 위해서는, 특히 사용자 기록이 제한적인 상황에서 사용자의 선호를 효과적으로 파악하는 것이 중요하다. 사용자 선호를 더 정확히 파악하기 위한 방법 중 하나는 명확화 질문을 제시하는 것이다. 그러나 다양한 도메인에서 효과적인 순차적 명확화 질문을 생성하는 것은 여전히 도전 과제이다. 이를 해결하기 위해, 사용자의 선호를 드러내는 순차적 질문을 유도할 수 있도록 LLM을 훈련하는 새로운 접근법을 제안한다. 본 연구의 방법은 확산 모델(.Diffusion Models)을 영감으로 삼은 이단계 프로세스를 따르며, 사용자 프로필을 기반으로 시작한다. 전진 과정에서는 명확화 질문을 생성하여 답변을 수집한 후, 해당 답변을 단계적으로 제거함으로써 사용자 프로필에 '노이즈'를 추가하는 방식으로 작동한다. 반대로 후진 과정에서는 모델이 효과적인 명확화 질문을 제안함으로써 사용자 프로필의 노이즈를 제거하도록 학습하게 된다. 실험 결과, 제안한 방법이 LLM이 '트랩( funnel ) 질문'을 더 효과적으로 제안하고 사용자 선호를 성공적으로 유도하는 데 있어 뚜렷한 성능 향상을 보였다.