초록

생성형 대규모 언어 모델(Large Language Models, LLMs)은 질문-응답(QA) 및 대화 시스템을 비롯한 다양한 응용 분야에서 뛰어난 성과를 보여왔다. 그러나 전통 중국 의학과 같은 전문 분야에서는 도메인 특화 데이터셋에 대한 미세조정(fine-tuning) 없이 이러한 모델이 만족스럽지 않은 성능을 보일 수 있다. 이를 해결하기 위해 우리는 전통 중국 의학 질문-응답 분야에 특화된 대화 모델인 MedChatZH를 제안한다. 본 모델은 중국 전통 의학 서적을 기반으로 사전 학습(pre-training)을 수행하고, 철저히 구성된 의료 지침 데이터셋을 활용하여 미세조정하였다. 실세계 의료 대화 데이터셋에서 여러 강력한 베이스라인 모델들을 상회하는 성능을 입증하였다. 본 연구에서는 모델, 코드 및 데이터셋을 해당 URL(https://...)에 공개하여 전통 중국 의학 및 LLM 분야의 추가적인 연구를 촉진하고자 한다.