LLM 기반 대화형 AI용 사용자 시뮬레이터에서의 목표 일치

사용자 시뮬레이터는 대화형 AI에서 핵심적인 역할을 하며, 시뮬레이션된 상호작용을 통해 에이전트의 개발과 평가를 규모 있게 가능하게 한다. 현재의 대규모 언어 모델(LLM)은 사용자 시뮬레이션 능력이 크게 발전했지만, 우리는 다단계 대화에서 일관된 목표 지향적 행동을 보이지 못한다는 문제를 지적한다. 이는 하류 응용 분야에서의 신뢰성을 저해하는 중대한 한계이다. 본 연구에서는 대화 전반에 걸쳐 사용자의 목표 진전을 추적할 수 있는 새로운 프레임워크인 사용자 목표 상태 추적(User Goal State Tracking, UGST)을 제안한다. UGST를 기반으로, 목표 진전을 자동으로 추적하고 목표에 부합하는 응답을 생성하기 위해 사전, 중간, 후처리의 세 단계로 구성된 방법론을 제시한다. 더불어 사용자 시뮬레이터의 목표 일치도를 측정하기 위한 포괄적인 평가 지표 체계를 구축하였으며, 다중 워크플로우 대화 데이터셋(MultiWOZ 2.4)과 τ-Bench 두 가지 벤치마크에서 본 방법론이 상당한 성능 향상을 보임을 입증하였다. 본 연구의 기여는 대화형 AI 분야에서 중요한 공백을 메우며, UGST가 목표 일치형 사용자 시뮬레이터 개발을 위한 필수적 프레임워크로 자리매김함을 보여준다.