LABRAD-OR: 동적 운영실에서 정확한 이모달 추론을 위한 경량 메모리 장면 그래프

현대 수술은 의료진, 환자, 장비 간 지속적으로 변화하는 상호작용을 포함하는 복잡하고 역동적인 환경에서 수행된다. 따라서 수술실(OR)을 종합적으로 모델링하는 것은 도전적이지만 필수적인 과제이며, 수술 팀의 성능을 최적화하고 환자 결과를 향상시키기 위한 새로운 수술 기술 개발에 기여할 수 있다. 수술 장면을 의미론적 장면 그래프(SGG)로 종합적으로 표현하는 방식은 실체를 노드로, 그들 간의 관계를 엣지로 표현함으로써 세밀한 의미론적 수술실 이해를 위한 유망한 방향성을 제시한다. 본 연구에서는 처음으로 시간 정보를 활용하여 보다 정확하고 일관성 있는 종합적 수술실 모델링을 제안한다. 구체적으로, 이전 시간 단계의 장면 그래프를 기억 요소로 삼아 현재 예측을 안내하는 '메모리 장면 그래프(memory scene graphs)'를 도입한다. 우리는 가벼운 메모리 장면 그래프의 시간 정보를 포인트 클라우드와 이미지의 시각 정보와 지능적으로 융합하는 엔드 투 엔드 아키텍처를 설계하였다. 제안한 방법은 4D-OR 데이터셋에서 평가되었으며, 시간 정보를 통합함으로써 정확도와 일관성이 향상되어 매크로 F1 점수가 +5% 향상되며, 새로운 SOTA(최고 성능)인 0.88을 달성함을 입증하였다. 본 연구는 수술 전 과정을 메모리 장면 그래프로 표현하는 길을 열었으며, 수술실 내 종합적 이해를 크게 향상시켰다. 장면 그래프를 시간적 기억 표현으로 도입함으로써, 다양한 시간적 이해 작업에 유용한 도구를 제공할 수 있다.