TransBTS：Transformerを用いたマルチモーダル脳腫瘍セグメンテーション

自己注意機構を用いたグローバル（長距離）情報モデリングにより、Transformerは最近、自然言語処理および2次元画像分類において成功を収めている。しかし、特に3次元医療画像セグメンテーションのような密な予測タスクにおいては、局所的特徴とグローバル特徴の両方が重要である。本論文では、初めて3次元CNNとTransformerを統合したアーキテクチャをMRI脳腫瘍セグメンテーションに適用し、エンコーダ・デコーダ構造に基づく新規ネットワーク「TransBTS」を提案する。局所的な3次元空間的特徴を捉えるために、エンコーダはまず3次元CNNを用いてボリューム特徴マップを抽出する。同時に、これらの特徴マップはTransformerに投入可能なトークン形式に精緻に変換され、グローバル特徴のモデリングが行われる。デコーダはTransformerによって埋め込まれた特徴を活用し、段階的なアップサンプリングにより詳細なセグメンテーションマップを予測する。BraTS 2019および2020の両データセットにおける広範な実験結果から、TransBTSは3次元MRIスキャンにおける脳腫瘍セグメンテーションにおいて、従来の最先端3次元手法と比較して同等または優れた性能を達成することが示された。ソースコードは以下のURLで公開されている：https://github.com/Wenxuan-1119/TransBTS