要約
近年、畳み込みニューラルネットワーク（CNN）をバックボーンとする生成的対抗モデルは、多数の医療画像合成タスクにおいて最先端の性能を示すようになっている。しかし、CNNはコンパクトなフィルタを用いた局所的処理を設計されており、その誘導的バイアスによって文脈情報を学習する能力が制限される。本研究では、視覚変換器（Vision Transformer）の文脈的感応性と畳み込み演算子の精度、および対抗学習による現実性を統合した新たな生成的対抗アプローチ、ResViTを提案する。ResViTのジェネレータは、新規の集約型残差変換器（Aggregated Residual Transformer: ART）ブロックからなる中心的なボトルネックを採用しており、このブロックは残差畳み込みモジュールと変換器モジュールを効果的に統合している。ARTブロック内の残差接続は、抽出される表現の多様性を促進する一方で、チャネル圧縮モジュールによりタスクに特有の情報を精錬する。また、ARTブロック間での重み共有戦略を導入することで、計算負荷を低減している。さらに、異なるソース・ターゲットモダリティ構成に対応するための別々の合成モデルを再構築する必要を回避するため、統一された実装を提案している。本研究では、多コントラストMRIにおける欠損シーケンスの合成およびMRIからCT画像への変換という課題に対して、包括的な実証実験を実施した。その結果、Qualitativeな観察および定量的評価指標の両面において、従来のCNNベースおよび変換器ベースの手法と比較して、ResViTが優れた性能を示すことが明らかになった。