ProMISe:SAMを用いたプロンプト可能型医用画像セグメンテーション

セグメンテーション・アニューアン・モデル(Segment Anything Model, SAM)の提案に伴い、医用画像セグメンテーション(Medical Image Segmentation, MIS)におけるSAMのファインチューニングが注目を集めている。しかし、SAMモデルの巨大なサイズと自然画像と医用画像の間にある顕著なドメインギャップのため、ファインチューニングに基づくアプローチは高コストであり、不安定性、特徴の損傷、およびカタストロフィックフォーゲット(災害的忘却)のリスクを伴う。さらに、一部の手法ではファインチューニングによりSAMを特定ドメインのMISに適用する際に、モデルのプロンプト機能が無効化され、その利用可能性が著しく制限される。本論文では、ターゲットドメインにおいてユークリッド空間における適応型プロンプトを提供する自動プロンプティングモジュール(Auto-Prompting Module, APM)を提案する。実験結果から、このような適応型プロンプトがSAMのファインチューニングなしでのMIS性能を顕著に向上させることを示した。さらに、SAMを特定の医用ドメインに適応させるための新規な非侵襲的手法として、インクリメンタル・パターンシフト(Incremental Pattern Shifting, IPS)を提案する。実験結果により、IPSを用いることで、ファインチューニングを一切行わずに、SAMがMISにおいて最先端または競争力のある性能を達成できることを確認した。これらの2つの手法を組み合わせることで、プロンプト可能な医用画像セグメンテーションを実現するエンドツーエンドの非ファインチューニングフレームワーク「ProMISe」を構築した。本研究の実験では、単独でも併用しても、低コストのパターンシフトで満足のいく性能が得られ、SAMのすべてのパラメータを固定した状態で安定した性能を発揮することを示した。