HyperAIHyperAI

Command Palette

Search for a command to run...

オブジェクトの局所化を学ぶことで、視覚LLMにおける空間的推論能力が向上する

Kanchana Ranasinghe Satya Narayan Shukla Omid Poursaeed Michael S. Ryoo Tsung-Yu Lin

概要

視覚ドメインのタスクにおける大規模言語モデル(LLM)の統合により、視覚言語モデル(V-LLM)が登場し、特に視覚質問応答(VQA)を含む視覚言語タスクにおいて優れた性能を発揮するようになった。しかし、既存のV-LLM(例:BLIP-2、LLaVA)は空間的推論能力および局所化認識能力に欠けるという課題を抱えている。高精度で詳細なテキスト回答を生成する一方で、左と右の位置を区別するような単純なタスクに対しても不十分な性能を示す。本研究では、画像空間座標に基づく指示微調整(instruction fine-tuning)目的関数が、V-LLMに空間的認識能力を注入する可能性を検証する。本研究では、最適な座標表現、データ効率の高い指示微調整目的関数、および擬似データ生成戦略を発見し、それらがV-LLMの空間的認識能力を向上させることを明らかにした。さらに、提案モデルは画像および動画の両領域におけるVQA性能を向上させるとともに、不適切な幻覚(hallucination)を低減し、より適切な文脈に基づくオブジェクト記述を生成する能力を有している。14の異なるデータセットを用いた5つの視覚言語タスクにおける実験により、本研究で提案するフレームワークが明確な性能向上をもたらすことが確認された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています