CapeLLM: マルチモーダル大規模言語モデルを用いたサポートフリーのカテゴリアグノスティックポーズ推定

カテゴリーネutralな姿勢推定（CAPE）は従来、アノテーション付きの基準画像に依存しており、このプロセスはしばしば煩雑であり、多様な物体カテゴリー間での必要な対応関係を完全に捉えることができない可能性があります。最近では、基準のキーポイントが必要なくなるテキストベースのクエリの利用が探索されています。しかし、キーポイントのためのテキスト記述の最適な使用方法についてはまだ十分に研究されていません。本研究では、CapeLLMという新しい手法を提案します。これは、テキストベースのマルチモーダル大規模言語モデル（MLLM）を用いたCAPE手法です。当手法では、クエリ画像と詳細なテキスト記述のみを使用して、カテゴリーネutralなキーポイントを推定します。私たちは広範囲にわたる実験を行い、事前学習されたMLLMの高度な推論能力を活用することで、CapeLLMが優れた汎化性能と堅牢性を持つことを示しました。当手法は困難な1ショット設定においてMP-100ベンチマークで新たな最先端の成果を達成し、カテゴリーネutralな姿勢推定分野における重要な進歩を示しています。