AI-SAM：自動かつインタラクティブなSegment Anything Model

セマンティックセグメンテーションはコンピュータビジョンにおける中心的なタスクである。従来の手法は一般的に自動型とインタラクティブ型の2つのカテゴリに分類される。インタラクティブ型のアプローチ、たとえばSegment Anything Model（SAM）の例に見られるように、事前学習モデルとしての可能性を示している。しかし、現在のこれらのモデルに対する適応戦略は、いずれかの極端、すなわち自動型またはインタラクティブ型に偏りがちである。インタラクティブ型はユーザーからのプロンプト入力を必要とするのに対し、自動型はプロンプトによるインタラクションを完全に回避する。こうした制約を克服するために、本研究では新たなアーキテクチャパラダイムとその初のモデルとして、自動的かつインタラクティブなSegment Anything Model（AI-SAM）を提案する。本パラダイムでは、プロンプトの品質に関する包括的な分析を行い、初期の点プロンプトを自動生成しつつ、追加のユーザー入力も受け入れ可能な画期的な「自動的かつインタラクティブなプロンプター（AI-Prompter）」を導入した。実験結果により、AI-SAMが自動設定において最先端の性能を達成することが示された。特に、追加のユーザープロンプトを組み込む柔軟性を備えており、これによりさらなる性能向上が可能となる。プロジェクトページは以下のURLで公開されている：https://github.com/ymp5078/AI-SAM。