MedMobile: 전문가 수준의 임상 능력을 갖춘 모바일 크기의 언어 모델

언어 모델(LMs)은 의학 분야에서 전문가 수준의 추론 및 기억 능력을 입증해 왔다. 그러나 계산 비용과 개인정보 보호 문제는 광범위한 실용화를 위한 주요 장벽으로 대두되고 있다. 본 연구에서는 모바일 장치에서 실행이 가능한 38억 파라미터 규모의 의료 전용 언어 모델인 MedMobile을 소개한다. 이 모델은 phi-3-mini의 효율적인 적응 버전으로, 의료 응용 분야에 특화되어 있다. 실험 결과 MedMobile은 MedQA(USMLE)에서 75.7%의 성능을 기록하여 의사의 합격 기준(~60%)을 초과하며, 크기가 100배 큰 모델들의 성능에 근접함을 입증하였다. 이후 철저한 아블레이션 실험을 수행한 결과, 체인 오브 써밋(Chain of Thought), 앙상블(Ensembling), 그리고 파인튜닝(Fine-tuning)이 가장 큰 성능 향상을 가져왔음을 확인하였으며, 예상과 달리 리트리ieval 증강 생성(Retrieval-Augmented Generation)은 유의미한 성능 향상을 보이지 못함을 발견하였다.