폴립-PVT: 피라미드 비전 트랜스포머를 활용한 폴립 세그멘테이션

대부분의 폴립 세그멘테이션 방법은 CNN을 기본 구조로 사용하며, 이로 인해 인코더와 디코더 간의 정보 교환 시 두 가지 핵심 문제를 겪는다. 첫째, 다양한 수준의 특징 간 기여도 차이를 고려하는 것이며, 둘째, 이러한 특징을 효과적으로 융합할 수 있는 메커니즘을 설계하는 것이다. 기존의 CNN 기반 방법과 달리, 우리는 더 강력하고 견고한 표현을 학습할 수 있는 트랜스포머 인코더를 채택하였다. 또한 폴립의 이미지 촬영 조건에 따른 영향과 미묘한 특성 등을 고려하여, 연속 융합 모듈(CFM), 카모플라주 식별 모듈(CIM), 유사성 집계 모듈(SAM)의 세 가지 표준 모듈을 도입하였다. 이 중 CFM은 고수준 특징에서 폴립의 의미적 정보와 위치 정보를 수집하는 데 사용되며, CIM은 저수준 특징 내에 숨겨진 폴립 정보를 포착하는 데 활용된다. 또한 SAM은 고수준의 의미적 위치 정보를 폴립 영역의 픽셀 특징에 확장하여 전체 폴립 영역으로 전파함으로써, 수준 간 특징을 효과적으로 융합한다. 제안된 모델인 Polyp-PVT는 특징 내 노이즈를 효과적으로 억제하고 표현 능력을 크게 향상시킨다. 널리 채택된 다섯 가지 데이터셋에서 실시한 광범위한 실험 결과, 기존의 대표적인 방법들에 비해 다양한 도전적인 상황(예: 외형 변화, 소형 객체, 회전 등)에 더 강건함을 입증하였다. 제안된 모델은 https://github.com/DengPingFan/Polyp-PVT에서 공개되어 있다.