医用画像のスーパーレゾリューションにおける多様なカーネルサイズを有するマルチモーダルマルチヘッド畳み込み注意機構

高解像度化された医療画像は、医師がより正確な診断を提供するのを支援することができる。多くの場合、コンピュータ断層撮影（CT）や磁気共鳴画像法（MRI）では、1回の検査において複数のスキャン（モード）を取得するが、これらを統合的に（マルチモーダルな手法で）利用することで、高解像度化の結果の品質をさらに向上させることができる。本研究では、CTおよびMRIスキャンの高解像度化を実現するための新しいマルチモーダル・マルチヘッド畳み込み注意機構（MMHCA）を提案する。本注意機構は、複数の入力テンソルを連結したものを対象に、畳み込み演算を用いて空間とチャネルの同時注意を実現する。ここで、カーネル（受容野）サイズが空間的注意の縮小率を制御し、畳み込みフィルタの数がチャネル的注意の縮小率をそれぞれ制御する。複数の注意ヘッドを導入し、各ヘッドは異なる受容野サイズを持ち、空間的注意における特定の縮小率に対応する。本研究では、MMHCAを2つの深層ニューラルネットワークアーキテクチャに統合し、3つのデータセットを用いた実験を実施した。実験結果から、本注意機構が高解像度化分野で現在の最先端技術に比べて優れた性能を発揮することが明らかになった。さらに、本注意機構に含まれる各構成要素（入力数やヘッド数など）の影響を評価するためのアブレーションスタディも実施した。本研究のコードは、https://github.com/lilygeorgescu/MHCA にて公開されている。