내시경 영상에서 액션 트리플렛을 통한 기구-조직 상호작용 인식

수술 활동 인식은 수술실에서 맥락에 따른 의사결정 지원을 개발하는 데 있어 필수적인 구성 요소입니다. 본 연구에서는 세밀한 활동의 인식 문제를 다루며, 이는 <도구, 동사, 대상> 형태의 행동 트리플로 표현되는 도구 활동을 모델링합니다. 이를 위해 공개 데이터셋 Cholec80에서 40개의 비디오로 구성된 새로운 복강경 데이터셋인 CholecT40을 소개합니다. 이 데이터셋의 모든 프레임은 128개의 트리플 클래스로 주석이 달려 있습니다. 또한, 이러한 트리플을 비디오 데이터로부터 직접 인식할 수 있는 접근 방식을 제시합니다. 이 방법은 도구 활성화 맵을 사용하여 동사와 대상 인식을 안내하는 Class Activation Guide (CAG) 모듈에 기반합니다. 같은 프레임 내에서 여러 트리플의 인식을 모델링하기 위해, 트리플 구성 요소 간의 연관성을 포착하는 학습 가능한 3D 상호작용 공간도 제안합니다. 마지막으로, 여러 절삭 연구와 CholecT40에서의 기준선과의 비교를 통해 이러한 기여의 중요성을 입증합니다.