4D-OR: OR 도메인 모델링을 위한 의미적 장면 그래프

수술 절차는 다양한 인력, 장비 및 상호작용이 복합적으로 얽힌 고도로 복잡한 수술실(OR)에서 수행된다. 현재까지 이러한 요구가 높은 환경 내에서 모든 연결과 상호작용을 이해할 수 있는 것은 의료 전문 인력에 국한되어 있다. 본 논문은 OR 영역에 대한 자동화, 포괄적이고 의미론적인 이해 및 모델링에 있어 공동체가 한 단계 더 가까이 다가가도록 목표로 한다. 이를 위해 본 연구에서는 처음으로 의미론적 장면 그래프(Semantic Scene Graph, SSG)를 사용하여 수술 현장을 기술하고 요약하는 방안을 제안한다. 장면 그래프의 노드는 수술실 내의 다양한 주체와 물체, 예를 들어 의료진, 환자, 의료 장비 등을 나타내며, 간선은 이들 간의 관계를 의미한다. 제안된 표현 방식의 가능성을 검증하기 위해, 현실적인 수술실 시뮬레이션 센터에서 6대의 RGB-D 센서를 사용해 10건의 시뮬레이션 전경화관절 치환 수술을 기록한, 처음으로 공개 가능한 4차원 수술 SSG 데이터셋인 4D-OR을 구축하였다. 4D-OR은 총 6,734개의 프레임을 포함하며, 의미론적 장면 그래프, 인간 및 물체의 자세, 임상 역할 등 풍부한 레이블이 부여되어 있다. 또한, 종단간(end-to-end) 신경망 기반의 SSG 생성 파이프라인을 제안하였으며, 이는 매크로 F1 점수 0.75의 성공률을 달성하여 수술실 내 의미론적 추론을 가능하게 한다. 더불어, 제안한 장면 그래프의 표현 능력을 검증하기 위해 임상 역할 예측 문제에 적용하였으며, 이 경우 0.85의 매크로 F1 점수를 달성하였다. 본 연구의 코드와 데이터셋은 논문 수락 후 공개될 예정이다.