HyperAIHyperAI

Command Palette

Search for a command to run...

CapeLLM: マルチモーダル大規模言語モデルを用いたサポートフリーのカテゴリアグノスティックポーズ推定

Junho Kim Hyungjin Chung Byung-Hoon Kim

概要

カテゴリーネutralな姿勢推定(CAPE)は従来、アノテーション付きの基準画像に依存しており、このプロセスはしばしば煩雑であり、多様な物体カテゴリー間での必要な対応関係を完全に捉えることができない可能性があります。最近では、基準のキーポイントが必要なくなるテキストベースのクエリの利用が探索されています。しかし、キーポイントのためのテキスト記述の最適な使用方法についてはまだ十分に研究されていません。本研究では、CapeLLMという新しい手法を提案します。これは、テキストベースのマルチモーダル大規模言語モデル(MLLM)を用いたCAPE手法です。当手法では、クエリ画像と詳細なテキスト記述のみを使用して、カテゴリーネutralなキーポイントを推定します。私たちは広範囲にわたる実験を行い、事前学習されたMLLMの高度な推論能力を活用することで、CapeLLMが優れた汎化性能と堅牢性を持つことを示しました。当手法は困難な1ショット設定においてMP-100ベンチマークで新たな最先端の成果を達成し、カテゴリーネutralな姿勢推定分野における重要な進歩を示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています