AutoSAM: SAMのメディカルイメージへの適応をプロンプトエンコーダーのオーバーロードにより実現する

最近導入されたSegment Anything Model (SAM)は、巧妙なアーキテクチャと大量の学習データを組み合わせることで、著しい画像セグメンテーション能力を獲得しています。しかし、医療画像などのOut-Of-Distribution (OOD) ドメインでは、そのような結果を再現することができません。さらに、SAMはマスクまたは一連のポイントに条件付けされているため、完全に自動的なソリューションが望まれる場合があります。本研究では、SAMの条件付けを同じ入力画像上で動作するエンコーダーに置き換えました。このエンコーダーを追加し、SAMのさらなる微調整を行わずに、複数の医療画像およびビデオベンチマークにおいて最先端の結果を得ています。新しいエンコーダーは、凍結したSAMから提供される勾配を使用して訓練されます。その内部にある知識を検証し、軽量なセグメンテーションソリューションを提供するために、浅い逆畳み込みネットワークを使用してマスクにデコードすることも学習しました。