Elisei Rykov Kseniia Petrushina Maksim Savkin Valerii Olisov Artem Vazhentsev Kseniia Titova Alexander Panchenko Vasily Konovalov Julia Belikova

초록

허상 탐지(Hallucination detection)는 사실 정확성이 요구되는 응용 분야에서 대규모 언어 모델(LLM)의 안전하고 신뢰할 수 있는 배포를 위한 핵심적인 도전 과제로 남아 있다. 기존의 허상 평가 기준은 일반적으로 시퀀스 수준에서 작동하며, 영어에 한정되어 있어 포괄적인 평가를 위해 필요한 세밀한 다국어 감독 정보가 부족하다. 본 연구에서는 14개 언어에서 스팬 수준의 허상을 주석화한 대규모 다국어 데이터셋인 PsiloQA를 제안한다. PsiloQA는 자동화된 세 단계 파이프라인을 통해 구축된다. 첫째, GPT-4o를 활용해 위키백과에서 질문-답변 쌍을 생성하고, 둘째, 다양한 LLM에 대해 맥락 없이 허상이 발생할 수 있는 답변을 유도하며, 셋째, 금본 답변(Golden answers)과 검색된 맥락을 기반으로 GPT-4o를 이용해 허상 스팬을 자동으로 주석화한다. 우리는 불확실성 측정, LLM 기반 태깅, 미세조정된 인코더 모델 등 다양한 허상 탐지 방법을 평가하여, 인코더 기반 모델이 여러 언어에서 가장 뛰어난 성능을 보임을 입증한다. 또한 PsiloQA는 우수한 다국어 일반화 능력을 보이며, 다른 평가 기준으로의 강력한 지식 전이를 지원함과 동시에 인간 주석 데이터셋에 비해 훨씬 더 비용 효율적임을 확인하였다. 본 연구의 데이터셋과 결과는 다국어 환경에서 확장 가능하고 세밀한 허상 탐지 기술의 발전을 촉진한다.