HyperAIHyperAI

Command Palette

Search for a command to run...

ProMISe:SAMを用いたプロンプト可能型医用画像セグメンテーション

Jinfeng Wang Sifan Song Xinkun Wang Yiyi Wang Yiyi Miao Jionglong Su S. Kevin Zhou

概要

セグメンテーション・アニューアン・モデル(Segment Anything Model, SAM)の提案に伴い、医用画像セグメンテーション(Medical Image Segmentation, MIS)におけるSAMのファインチューニングが注目を集めている。しかし、SAMモデルの巨大なサイズと自然画像と医用画像の間にある顕著なドメインギャップのため、ファインチューニングに基づくアプローチは高コストであり、不安定性、特徴の損傷、およびカタストロフィックフォーゲット(災害的忘却)のリスクを伴う。さらに、一部の手法ではファインチューニングによりSAMを特定ドメインのMISに適用する際に、モデルのプロンプト機能が無効化され、その利用可能性が著しく制限される。本論文では、ターゲットドメインにおいてユークリッド空間における適応型プロンプトを提供する自動プロンプティングモジュール(Auto-Prompting Module, APM)を提案する。実験結果から、このような適応型プロンプトがSAMのファインチューニングなしでのMIS性能を顕著に向上させることを示した。さらに、SAMを特定の医用ドメインに適応させるための新規な非侵襲的手法として、インクリメンタル・パターンシフト(Incremental Pattern Shifting, IPS)を提案する。実験結果により、IPSを用いることで、ファインチューニングを一切行わずに、SAMがMISにおいて最先端または競争力のある性能を達成できることを確認した。これらの2つの手法を組み合わせることで、プロンプト可能な医用画像セグメンテーションを実現するエンドツーエンドの非ファインチューニングフレームワーク「ProMISe」を構築した。本研究の実験では、単独でも併用しても、低コストのパターンシフトで満足のいく性能が得られ、SAMのすべてのパラメータを固定した状態で安定した性能を発揮することを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています