약물 자산 다운 딜리전스에서 경쟁 환경도 작성에 대한 LLM 기반 에이전트

본 논문에서는 빠른 약물 자산 다운디릴리전(du diligence)을 위한 에이전트 기반 AI 시스템 내에서 활용되는 경쟁사 탐지(competitor-discovery) 컴포넌트에 대해 설명하고, 성능을 평가한다. 경쟁사 탐지 AI 에이전트는 특정 적응증(indication)을 입력받아 해당 적응증의 경쟁 환경을 구성하는 모든 약물들을 검색하고, 이러한 약물들의 표준적 특성(canonical attributes)을 추출한다. 경쟁사 정의는 투자자별로 달라지며, 데이터는 유료 접근/라이선스 제한, 등록기관 간 분산 저장, 적응증 기반 온톨로지 불일치, 약물명의 별칭(aliase) 과다, 다중모달(multimodal) 형태로 구성되어 있으며, 빠르게 변화하는 특성을 지닌다. 이 문제에 대한 최선의 도구로 여겨지지만, 현재의 LLM 기반 AI 시스템은 신뢰할 수 있게 모든 경쟁 약물명을 검색해내는 데 한계가 있으며, 해당 작업에 대한 공개된 표준 평가 기준이 존재하지 않는다. 평가 체계의 부재를 해결하기 위해, 우리는 LLM 기반 에이전트를 활용하여 사적 바이오테크 벤처 캐피탈 펀드에서 5년간 수집한 다중모달이고 비구조화된 다운디릴리전 메모를 구조화된 평가 코퍼스로 변환하였으며, 이는 적응증과 정규화된 특성을 갖춘 경쟁 약물 간의 매핑을 가능하게 한다. 또한, 예측된 경쟁 약물 목록에서 가짜 긍정(false positive)을 제거하여 정밀도(precision)를 극대화하고 환각(hallucination)을 억제하기 위해, LLM을 판사( judge)로 활용하는 경쟁사 검증 에이전트를 도입하였다. 이 벤치마크에서 제안하는 경쟁사 탐지 에이전트는 83%의 리콜(recall)을 달성하여, OpenAI Deep Research(65%) 및 Perplexity Labs(60%)를 상회한다. 해당 시스템은 기업 사용자를 대상으로 실시간 운영 중이며, 바이오테크 벤처 캐피탈 펀드를 대상으로 한 사례 연구에서 분석가의 업무 처리 시간이 2.5일에서 약 3시간(약 20배)으로 단축되었다.