의료 영상 초해상도를 위한 다양한 커널 크기를 가진 다중 모달 다중 헤드 컨볼루션 어텐션

초해상도 의료 영상은 의료진이 더 정확한 진단을 제공하는 데 도움을 줄 수 있다. 많은 경우, 컴퓨터 단층 촬영(CT) 또는 자기공명영상(MRI) 기술은 단일 검사 과정에서 여러 영상 모드(스캔)를 촬영하며, 이러한 다양한 모드를 복합적으로 활용함으로써 초해상도 결과의 품질을 더욱 향상시킬 수 있다. 이를 위해 본 연구에서는 CT 및 MRI 영상을 초해상도화하기 위한 새로운 다중 모달 다중 헤드 합성곱 주의 모듈(MMHCA: Multimodal Multi-Head Convolutional Attention)을 제안한다. 본 주의 모듈은 여러 입력 텐서를 연결(concatenated)한 후 합성곱 연산을 통해 공간-채널 복합 주의를 수행하며, 커널(수용 영역) 크기는 공간 주의의 감소율을 조절하고, 합성곱 필터의 수는 채널 주의의 감소율을 각각 조절한다. 또한 여러 개의 주의 헤드를 도입하여 각 헤드가 서로 다른 수용 영역 크기를 가지며, 공간 주의의 특정 감소율에 대응하도록 설계하였다. 제안한 다중 모달 다중 헤드 합성곱 주의(MMHCA) 모듈을 초해상도를 위한 두 가지 심층 신경망 아키텍처에 통합하고, 세 가지 데이터셋을 활용한 실험을 수행하였다. 실험 결과는 제안한 주의 모듈이 초해상도 분야에서 최신 주의 메커니즘보다 우수함을 보여주었다. 더불어, 주의 모듈 내 구성 요소(예: 입력 개수 또는 헤드 수)의 영향을 평가하기 위한 제거 연구(ablation study)를 수행하였다. 본 연구의 코드는 https://github.com/lilygeorgescu/MHCA에서 무료로 제공된다.