17일 전

BioMistral: 의료 분야를 위한 오픈소스 사전 학습된 대규모 언어 모델 모음

Yanis Labrak, Adrien Bazoge, Emmanuel Morin, Pierre-Antoine Gourraud, Mickael Rouvier, Richard Dufour
BioMistral: 의료 분야를 위한 오픈소스 사전 학습된 대규모 언어 모델 모음
초록

최근 몇 년간 대규모 언어 모델(Large Language Models, LLMs)은 건강 및 의학과 같은 전문 분야를 포함한 다양한 분야에서 뛰어난 유연성을 보여주며 잠재적인 응용 가능성을 입증해왔다. 다양한 오픈소스 LLM들이 의료 환경에 맞춰 설계되어 있지만, 일반 목적의 LLM을 의료 분야에 적응시키는 것은 여전히 큰 도전 과제로 남아 있다. 본 논문에서는 미스트랄(Mistral)을 기반 모델로 삼고, PubMed Central 데이터셋을 추가로 사전 훈련한 오픈소스 의생명공학 전용 LLM인 BioMistral을 소개한다. 우리는 영어로 구성된 10개의 기존 의료 질문-답변(QA) 작업을 포함한 벤치마크를 기반으로 BioMistral의 포괄적인 평가를 수행한다. 또한 양자화 및 모델 병합 기법을 통해 도출된 경량 모델들에 대해서도 탐구한다. 실험 결과, 기존 오픈소스 의료용 모델들과 비교했을 때 BioMistral은 뛰어난 성능을 보이며, 사내 소유의 대안 모델들과도 경쟁력을 갖추고 있음을 입증한다. 마지막으로, 영어 외의 언어에 대한 데이터 부족 문제를 해결하고 의료용 LLM의 다국어 일반화 능력을 평가하기 위해, 본 벤치마크를 자동 번역하여 7개의 다른 언어로 변환하여 평가하였다. 이는 의료 분야에서 LLM에 대한 최초의 대규모 다국어 평가로 의미가 있다. 본 연구에서 확보한 데이터셋, 다국어 평가 벤치마크, 스크립트 및 실험 과정에서 생성된 모든 모델은 자유롭게 공개된다.

BioMistral: 의료 분야를 위한 오픈소스 사전 학습된 대규모 언어 모델 모음 | 최신 연구 논문 | HyperAI초신경