마이크로소프트, 사용자 역할을 모사하는 새로운 언어 모델 'UserLM-8b' 공개… 대화형 AI 평가의 정교함을 높이다

마이크로소프트가 개발한 ‘UserLM-8b’는 기존의 대화 보조자 역할을 하는 대형 언어모델(LLM)과 달리, 사용자 역할을 시뮬레이션하도록 훈련된 모델이다. 이 모델은 대화 기록 데이터셋인 WildChat-1M을 기반으로, 사용자의 대화 흐름을 예측하도록 훈련되었으며, 특정 작업 의도(task intent)를 입력하면 첫 번째 발화부터 대화 종료 신호까지 자연스러운 사용자 대화를 생성할 수 있다. 주로 보조 모델의 성능을 평가하기 위한 연구용 도구로 사용되며, 기존의 보조 모델을 프롬프팅해 사용자 역할을 시뮬레이션하는 방식보다 더 현실적인 대화를 구현함을 입증했다. 연구팀은 모델이 대화 종료, 정보 분산, 언어 다양성 등 사용자 행동의 핵심 특성을 더 잘 반영한다고 밝혔다. 다만 모델은 일부 경우에 의도와 다른 요구사항을 허구로 추가하거나, 사용자 역할에서 벗어나는 경향이 있으며, 다국어 지원은 제한적이다. 또한 상용 서비스에 직접 사용하는 것은 권장되지 않으며, 연구 목적에만 제공된다. 모델은 Llama3-8b 기반으로 전체 파라미터를 미세조정해 훈련했으며, 4개의 RTX A6000 GPU로 약 227시간이 소요됐다. 성능 평가 결과, 대화 분포 일치도, 사용자 시뮬레이션 지표, 외부 평가 시나리오에서 모두 기존 방법보다 우수한 성능을 보였다.