SF-TMN: 수술 단계 인식을 위한 SlowFast 시제 모델링 네트워크

수술 단계 자동 인식은 수술 교육을 위한 영상 기반 평가(VBA) 시스템을 지원하는 핵심 기술 중 하나이다. 수술 단계 인식에 있어 시간 정보를 효과적으로 활용하는 것은 매우 중요하므로, 최근 다양한 접근 방식들이 프레임 단위 특징을 추출하여 전체 영상에 대한 시간적 모델링을 수행하고 있다. 보다 우수한 시간적 모델링을 위해, 본 연구에서는 프레임 단위뿐만 아니라 세그먼트 단위까지도 전체 영상에 대한 시간적 모델링이 가능한 '슬로우패스트 시간적 모델링 네트워크(SlowFast Temporal Modeling Network, SF-TMN)'를 제안한다. SF-TMN의 학습 데이터로 사용하기 위해, 대상 데이터셋에서 사전 훈련된 특징 추출 네트워크를 활용하여 영상 프레임에서 특징을 추출한다. SF-TMN의 슬로우 경로(Slow Path)는 모든 프레임 특징을 활용하여 프레임 단위 시간적 모델링을 수행하고, 패스트 경로(Fast Path)는 프레임 특징을 요약한 세그먼트 단위 특징을 이용해 세그먼트 단위 시간적 모델링을 수행한다. 제안하는 아키텍처는 시간적 모델링 네트워크의 선택에 있어 유연성을 제공한다. 이를 바탕으로 MS-TCN과 ASFormer 모델을 시간적 모델링 네트워크로 탐색하고, 슬로우 경로와 패스트 경로 간의 다양한 조합 전략을 실험하였다. SF-TMN은 Cholec80 수술 단계 인식 작업에서 평가되었으며, 고려된 모든 지표에서 최고 성능을 달성함을 입증하였다. ASFormer 기반의 SF-TMN은 기존의 비 엔드투엔드(Not End-to-End) TCN 방법보다 정확도에서 2.6% 향상되고, 자카르 점수(Jaccard score)에서는 7.4% 향상되었다. 또한 50salads, GTEA, Breakfast 등의 행동 세그멘테이션 데이터셋에서도 SF-TMN을 평가하였으며, 각각의 데이터셋에서도 최고 성능을 기록하였다. 실험 결과는 프레임 단위와 세그먼트 단위의 시간 정보를 시간적 보정 단계를 통해 정제하여 결합하는 방식이 수술 단계의 시간적 모델링에 유익함을 보여준다.