Dense Transformer 네트워크를 이용한 뇌 전자현미경 이미지 세그멘테이션

현재 밀도 예측(dense prediction)을 위한 딥러닝 기법의 핵심 아이디어는 각 픽셀 중심에 정규화된 패치를 적용하여 픽셀 단위 예측을 수행하는 것이다. 그러나 이러한 기법들은 패치의 형태와 크기가 네트워크 아키텍처에 의해 결정되며, 데이터로부터 학습되지 않는다는 점에서 한계를 가진다. 본 연구에서는 데이터로부터 패치의 형태와 크기를 학습할 수 있는 밀도 변환기 네트워크(Dense Transformer Networks)를 제안한다. 제안된 밀도 변환기 네트워크는 인코더-디코더 아키텍처를 사용하며, 인코더 및 디코더 경로 각각에 밀도 변환기 모듈의 쌍을 삽입한다. 본 연구의 주요 기여는 데이터로부터 패치의 형태와 크기를 학습하기 위한 기술적 해결책을 제시하고, 밀도 예측에 필수적인 공간 대응 관계를 효율적으로 복원하는 방법을 제안한 점이다. 제안된 밀도 변환기 모듈은 미분 가능(differentiable)하여 전체 네트워크를(end-to-end) 학습할 수 있다. 제안된 네트워크를 생물학적 이미지 세그멘테이션 작업에 적용하여, 기존 기준 모델 대비 우수한 성능을 달성함을 보였다.