ScribFormer：Transformer がスクリブルベース医療画像セグメンテーションにおける CNN の性能を向上させる

最近のスクリブル教師付きセグメンテーション手法は、一般的にエンコーダ・デコーダ構造を備えたCNNフレームワークを採用している。このアーキテクチャには複数の利点があるものの、局所的受容fieldを持つ畳み込み層では、通常、小さな範囲の特徴依存性しか捉えることができず、スクリブルアノテーションから得られる限られた情報からグローバルな形状情報を学習することが困難となる。この課題を解決するために、本稿ではスクリブル教師付き医療画像セグメンテーションのための新しいCNN-Transformerハイブリッド手法、ScribFormerを提案する。提案するScribFormerモデルは、CNNブランチ、Transformerブランチ、およびアテンション誘導型クラス活性化マップ（ACAM）ブランチからなる三重ブランチ構造を採用している。具体的には、CNNブランチとTransformerブランチが協調して、CNNが学習する局所特徴とTransformerが得るグローバル表現を融合することで、従来のスクリブル教師付きセグメンテーション手法の限界を効果的に克服できる。さらに、ACAMブランチは浅層畳み込み特徴と深層畳み込み特徴を統合することで、モデルの性能をさらに向上させる。公開データセット2つおよびプライベートデータセット1つにおける広範な実験の結果、ScribFormerは最先端のスクリブル教師付きセグメンテーション手法を上回る優れた性能を示し、さらに完全教師付きセグメンテーション手法と比較しても優れた結果を達成した。コードは、https://github.com/HUANGLIZI/ScribFormer にて公開されている。