MuST: 수술 단계 인식을 위한 다중 스케일 트랜스포머

수술 영상에서 단계 인식은 컴퓨터 지원 수술 시스템을 개선하는 데 중요한 역할을 하며, 이는 순차적인 절차 단계를 자동으로 이해할 수 있게 해줍니다. 기존 방법들은 종종 동적 수술 단계를 식별하기 위해 고정된 시간 창을 사용하여 영상 분석에 의존합니다. 따라서, 복잡한 수술 절차를 완전히 이해하기 위한 짧은 기간, 중간 기간, 그리고 장기적인 정보를 동시에 포착하는 데 어려움이 있습니다. 이러한 문제들을 해결하기 위해, 우리는 여러 시간 척도에서 수술 영상의 정보를 포착할 수 있는 Multi-Term Frame 인코더와 Temporal Consistency 모듈을 결합한 새로운 Transformer 기반 접근 방법인 Multi-Scale Transformers for Surgical Phase Recognition (MuST)를 제안합니다. 우리의 Multi-Term Frame 인코더는 관심 프레임 주변에서 점점 더 큰 간격으로 시퀀스 샘플링을 통해 시간 척도 계층 구조 간의 상호 의존성을 계산합니다. 또한, 프레임 임베딩 위에서 장기적인 추론을 더욱 강화하기 위해 장기적인 Transformer 인코더를 사용합니다. MuST는 세 가지 다른 공개 벤치마크에서 이전 최신 방법들보다 더 높은 성능을 달성하였습니다.