시간에서의 만남: 수술 트리플 인식을 위한 주의 기반 시간 융합 접근법

최근 수술 AI 분야에서의 한 가지 발전은 (수술 도구, 동사, 대상)으로 구성된 수술 활동의 인식입니다. 컴퓨터 보조 개입에 대한 상세한 정보를 제공함에도 불구하고, 현재의 트리플렛 인식 접근 방식은 단일 프레임 특징에만 의존하고 있습니다. 이전 프레임에서 시간적 힌트를 활용하면 비디오에서의 수술 행동 트리플렛 인식이 향상될 것입니다. 본 논문에서는 시간적 모델링을 확장하여 최신 모델인 Rendezvous를 개선한 딥 러닝 모델인 Rendezvous in Time (RiT)을 제안합니다. 특히 동사에 더 집중하여, RiT는 현재와 과거 프레임 간의 연결성을 탐색하여 시간적 주목 기반 특징을 학습하여 트리플렛 인식을 강화합니다. 우리는 어려운 수술 트리플렛 데이터셋인 CholecT45에서 우리의 제안을 검증하였습니다. 이로써 동사와 트리플렛의 인식이 향상되었음을 입증하였으며, (수술 도구, 동사)와 같은 동사 관련 다른 상호작용에서도 성능 향상을 보였습니다. 정성적인 결과는 RiT가 대부분의 트리플렛 사례에서 더욱 부드러운 예측을 생성함을 보여줍니다. 우리는 비디오 프레임의 시간적 융합을 활용하여 수술 행동의 변화를 모델링하고 이를 통해 수술 트리플렛 인식에 활용할 수 있는 새로운 주목 기반 접근 방식을 제시합니다.