의사결정을 위한 오픈소스 모델 간 메디에이터 지도형 다중 에이전트 협업

복잡한 의료 결정 과정은 다양한 임상의들이 협력하는 워크플로우를 포함한다. 인공지능 다중 에이전트 시스템을 설계함으로써 인간 수준의 임상 결정 과정을 보다 빠르고 강화할 수 있다. 기존의 다중 에이전트 연구는 주로 언어 기반 작업에 집중해 왔으나, 다중모달 환경으로의 확장은 여전히 도전 과제이다. 다양한 시각-언어 모델(VLM)을 단순히 결합하는 것은 오류가 발생할 가능성이 높은 해석 결과를 악화시킬 수 있다. 크기가 유사한 대규모 언어 모델(LLM)에 비해 일반적인 VLM은 지시사항 수행 능력과 특히 자기반성 능력이 낮아 제한이 있다. 이러한 격차는 VLM이 협업 워크플로우에서의 활용 능력을 크게 제약한다. 본 연구에서는 의료 다중모달 결정 과정을 위한 매개자 유도형 다중 에이전트 협업 프레임워크인 MedOrch를 제안한다. MedOrch는 LLM 기반의 매개자 에이전트를 활용하여, 다수의 VLM 기반 전문 에이전트들이 출력 내용을 교환하고 반성함으로써 협업을 가능하게 한다. 고가의 GPT 시리즈 모델 대신, 개방형 일반 목적 및 영역 특화 VLM을 다수 활용함으로써 이질적 모델들의 강점을 입증한다. 본 연구는 서로 다른 VLM 기반 에이전트 간의 협업이 개별 에이전트의 성능을 초월할 수 있음을 보여준다. 제안한 방법은 다섯 가지 의료 시각 질의 응답 벤치마크에서 검증되었으며, 모델 학습 없이도 우수한 협업 성능을 나타낸다. 본 연구 결과는 매개자 유도형 다중 에이전트 협업이 의료 다중모달 지능의 발전에 있어 중요한 가치를 지닌다는 점을 강조한다. 본 연구의 코드는 공개될 예정이다.