EfficientMorph: 3D 이미지 등록을 위한 매개변수 효율적인 트랜스포머 기반 아키텍처

트랜스포머는 의료 이미지 등록 분야에서 최신 아키텍처로 부상하여, 컨벌루션 신경망(CNNs)의 제한된 수용 범위와 깊은 모델에서의 기울기 불안정성을 해결함으로써 성능을 뛰어넘었습니다. 그러나 성공에도 불구하고, 트랜스포머 기반 모델은 데이터, 메모리, 계산 능력과 같은 풍부한 리소스가 필요해, 리소스가 제한된 최종 사용자에게 적용하는 데 어려움이 있을 수 있습니다. 특히, 기존 트랜스포머 기반 3D 이미지 등록 아키텍처는 효율성과 효과성에 도전하는 두 가지 중요한 문제점을 가지고 있습니다. 첫째, 창(window)-기반 주의 메커니즘이 전체 주의의 이차 복잡도를 줄이고 지역 정보에 집중하지만, 종종 지역 정보와 전역 정보를 효과적으로 통합하는 데 어려움을 겪습니다. 둘째, 등록 정확도에 결정적인 영향을 미치는 토크나이제이션의 세분화 정도는 성능 상호 교환 관계를 나타냅니다: 더 작은 복셀 크기의 토큰은 세부 사항 포착을 개선하지만, 계산 복잡도 증가, 메모리 사용량 증가 및 과적합 위험이 커집니다.우리는 \name을 소개합니다. 이는 감독되지 않은 3D 이미지 등록을 위한 트랜스포머 기반 아키텍처로, 평면(plane)-기반 주의 메커니즘을 통해 3D 볼륨에서 지역 주의와 전역 주의를 균형 있게 조절하며, 합병 연산을 사용하는 고해상도(Hi-Res) 토크나이제이션 전략을 채택하여 세부 사항을 포착하면서 계산 효율성을 저하시키지 않습니다. 특히 \name은 OASIS 데이터셋에서 16-27배 적은 매개변수로 새로운 성능 기준을 설정하였습니다. https://github.com/MedVIC-Lab/Efficient_Morph_Registration