LMMsの夜明け：GPT-4V(ision)による初步的な探査

大規模マルチモーダルモデル（LMMs）は、大規模言語モデル（LLMs）に視覚理解などの多感覚スキルを追加し、より強力な汎用知能を実現します。本論文では、最新のモデルであるGPT-4V(ision)を分析し、LMMsの理解を深めることを目指します。この分析では、GPT-4Vが行うことができる興味深いタスクに焦点を当て、その能力の品質と汎用性を検証するためのテストサンプル、サポートされる入力と動作モード、およびモデルへの効果的なプロンプト方法について考察します。GPT-4Vの探索において、我々は様々な領域とタスクにわたる慎重に設計された定性的サンプルを集めて整理しました。これらのサンプルから得られた観察結果は、GPT-4Vが任意に交互に配置されたマルチモーダル入力を処理する前例のない能力とその能力の汎用性が相まって、GPT-4Vを強力なマルチモーダル汎用システムとして位置づけていることを示しています。さらに、GPT-4Vが入力画像上に描かれた視覚マーカーを理解できる独自の機能により、視覚参照プロンプティングなどの新しい人間とコンピュータとの相互作用方法が生まれることが期待されます。本報告書では、GPT-4Vベースのシステムにおける新規アプリケーションシナリオや将来の研究方向性について詳細に議論しています。この初期的な探査が次世代マルチモーダルタスクフォーマレーションに関する今後の研究 Inspirations を与え、LMMs の活用と強化による実世界問題解決の新たな方法やマルチモーダル基礎モデルに対するより良い理解につながることを願っています。最後に、当該研究で対象としたモデルは OpenAI の革新的な開発によってのみ生み出されたものであり、その開発には完全なクレジットを与えるべきであることを確認いたします。著者とクレジット帰属については GPT-4V 貢献論文をご覧ください: https://cdn.openai.com/contributions/gpt-4v.pdf注：「Inspirations」は「インスピレーション」または「研究への刺激」と訳すこともできますが、「研究への刺激」の方がより自然で正式な表現です。したがって、「この初期的な探査が次世代マルチモーダルタスクフォーマレーションに関する今後の研究への刺激を与え……」という訳も可能です。