ORacle: 지식 기반 종합 OR 도메인 모델링을 위한 대규모 비전-언어 모델

매일 전 세계적으로 수많은 수술이 시행되며, 각 수술은 장비 구성, 인력 구성, 사용되는 도구 및 장비 등이 상이한 수술실(OR)의 독특한 환경 속에서 이루어진다. 이러한 본질적인 다양성은 수술실에 대한 포괄적인 이해를 달성하는 데 상당한 도전 과제를 제기한다. 왜냐하면 기존 모델이 자체 학습 데이터셋을 넘어서 일반화할 수 있어야 하기 때문이다. 이 격차를 줄이기 위해 우리는 다중 시점 및 시간적 정보 처리 능력을 갖춘 고급 시각-언어 모델인 ORacle를 제안한다. ORacle는 추론 시 외부 지식을 활용할 수 있어, 사전에 접하지 못한 수술 시나리오에도 유연하게 적응할 수 있다. 이 능력은 우리 팀이 개발한 새로운 데이터 증강 프레임워크를 통해 더욱 강화되며, 훈련 데이터셋의 다양성을 크게 증대시켜 ORacle가 제공된 지식을 효과적으로 적용할 수 있도록 한다. 엄격한 테스트에서 4D-OR 데이터셋을 활용한 장면 그래프 생성 및 하류 작업에서 ORacle는 기존 모델보다 더 적은 데이터로도 최신 기술 수준의 성능을 입증하였다. 또한, ORacle는 생소한 시점, 동작, 도구 및 장비의 외관을 해석할 수 있는 적응성도 보여주며, 수술실 영역 모델링의 확장성과 경제성을 크게 향상시킬 잠재력을 입증한다. 이는 수술 데이터 과학 분야의 미래 발전을 위한 새로운 길을 열어준다. 논문 수락 후 코드와 데이터를 공개할 예정이다.