nnFormer: 부피 세그멘테이션을 위한 교차 인터리브 트랜스포머

자연어 처리 분야에서 선택받는 모델인 Transformer는 의료 영상 분야에서 거의 주목받지 못하고 있다. 장거리 의존성( long-term dependencies)을 효과적으로 활용할 수 있다는 점에서, Transformer는 기존의 전형적인 합성곱 신경망(Convolutional Neural Networks, CNNs)이 내재한 공간적 유도 편향(spatial inductive bias)이라는 한계를 극복하는 데 큰 잠재력을 지닌다. 그러나 최근 제안된 대부분의 Transformer 기반 분할 접근법은 단지 전역적인 컨텍스트를 합성곱 표현에 통합하는 보조 모듈로 Transformer를 활용하는 수준에 머물러 있다. 이러한 문제를 해결하기 위해 우리는 체적 의료 영상 분할을 위한 3차원 Transformer인 nnFormer을 제안한다. nnFormer은 교차 배치된 합성곱 연산과 자기 주의(Self-attention) 연산의 결합을 활용할 뿐만 아니라, 지역적 및 전역적 체적 기반 자기 주의 메커니즘을 도입하여 체적 표현을 학습한다. 또한 nnFormer은 U-Net 유사 아키텍처에서 전통적인 연결(concatenation) 또는 합산(summation) 연산을 대체하기 위해 스킵 주의(Skip Attention)를 제안한다. 실험 결과, nnFormer는 세 가지 공개 데이터셋에서 기존의 Transformer 기반 모델들과 비교해 크게 뛰어난 성능을 보였다. nnUNet과 비교했을 때, nnFormer는 HD95 지표에서 유의미하게 낮은 값을 기록했으며, DSC(Dice Similarity Coefficient)는 유사한 수준의 성능을 보였다. 더 나아가, nnFormer와 nnUNet이 모델 앙상블에서 서로 매우 보완적인 관계에 있음을 보여주었다.