대형 언어 모델이 해리 포터를 만나다: 캐릭터와 대화 에이전트를 일치시키기 위한 양언어 데이터셋

최근 몇 년간, ChatGPT와 GPT-4와 같은 대화형 대규모 언어 모델(LLM)들은 오픈 도메인 대화 에이전트를 구축하는 데서 큰 잠재력을 보여주었습니다. 그러나 캐릭터나 특정 개인과의 일치성을 확보하는 것은 캐릭터 표현의 복잡성과 포괄적인 주석 부족으로 인해 여전히 큰 도전 과제입니다. 본 논문에서는 대화 에이전트 연구와 캐릭터 일치성을 발전시키기 위해 설계된 'Harry Potter Dialogue (HPD) 데이터셋'을 소개합니다. 이 데이터셋은 해리 포터 시리즈의 모든 대화 세션(영어와 중국어로)을 포함하고 있으며, 대화 장면, 화자, 캐릭터 관계 및 속성 등 중요한 배경 정보가 주석되어 있습니다. 이러한 광범위한 주석은 LLM들이 캐릭터 중심의 대화 능력을 활용할 수 있도록 지원할 수 있습니다. 또한, 이 데이터셋은 LLM이 특정 캐릭터와 얼마나 잘 일치하는지를 평가하기 위한 보편적인 벤치마크로 사용될 수 있습니다. 우리는 미세 조정(fine-tuning) 및 문맥 내 학습(in-context learning) 설정에서 HPD를 사용하여 LLM들을 벤치마킹했습니다. 평가 결과는 고품질이고 캐릭터에 맞춘 응답 생성에 아직 많은 개선 여지가 있음을 나타내지만, 제안된 데이터셋은 모델들이 해리 포터의 캐릭터에 더 잘 맞는 응답을 안내하는 데 가치가 있음을 확인하였습니다.