약한 지도 하에 라파로스코픽 비디오에서 도구 추적을 위한 Convolutional LSTM 접근법

목적: 실시간 수술 도구 추적은 수술 활동을 분석하고 이해하는 데 매우 중요한 역할을 하므로 미래의 지능형 수술실(OR)의 핵심 구성 요소입니다. 현재 비디오에서 수술 도구를 추적하기 위한 방법들은 도구의 공간 위치가 수작업으로 주석화된 데이터로 훈련되어야 합니다. 이러한 훈련 데이터를 생성하는 것은 어려우며 시간이 많이 소요됩니다. 따라서 우리는 복강경 비디오용 도구 추적기를 훈련시키기 위해 오직 이진 존재 주석만을 사용하는 방법을 제안합니다.방법: 제안된 접근 방식은 CNN + 합성곱 LSTM(ConvLSTM) 신경망으로 구성되며, 이는 단순히 도구의 이진 존재 라벨에 대해 약한 감독 아래에서 엔드투엔드로 훈련됩니다. ConvLSTM은 수술 도구의 움직임에서 시간적인 의존성을 모델링하며, 이를 통해 위치 열지도(Lh-maps)에서 클래스 피크 활성화를 부드럽게 만드는 공간-시간 능력을 활용합니다.결과: 우리는 CNN 모델 위에 기준 추적기를 구축하고, 제안된 ConvLSTM 기반 접근 방식이 도구 존재 검출, 공간 정위, 그리고 움직임 추적 면에서 각각 5.0%, 13.9%, 12.6% 이상 개선된 성능을 보인다는 것을 입증했습니다.결론: 본 논문에서는 제안된 방법을 사용하여 깊은 학습 추적 모델을 훈련시키기 위해 이진 존재 라벨이 충분하다는 것을 보여주었습니다. 또한, ConvLSTM이 수술 비디오 내 연속 이미지 프레임 간의 공간-시간 일관성을 활용하여 도구 존재 검출, 공간 정위, 그리고 움직임 추적을 개선할 수 있다는 것을 확인하였습니다.키워드: 수술 워크플로 분석, 도구 추적, 약한 감독, 공간-시간 일관성, ConvLSTM, 내시경 비디오