InternVL: 大規模化されたビジョン基盤モデルと汎用的な視覚言語タスクへの適合

大規模言語モデル（LLM）の指数関数的な成長は、マルチモーダルAGIシステムの多くの可能性を開きました。しかし、視覚および視覚-言語基盤モデルの進歩は、マルチモーダルAGIにとっても重要な要素であるにもかかわらず、LLMの進歩に追いついていません。本研究では、ウェブスケールの画像-テキストデータを様々なソースから使用して、視覚基盤モデルを60億パラメータに拡大し、段階的にLLMと合わせる大規模な視覚-言語基盤モデル（InternVL）を設計しました。このモデルは、画像レベルやピクセルレベルの認識などの視覚認識タスクや、ゼロショット画像/動画分類やゼロショット画像/動画-テキスト検索などの視覚-言語タスクを含む32の一般的な視覚-言語ベンチマークにおいて広く適用され、最先端の性能を達成することができます。また、LLMと連携してマルチモーダル対話システムを作成することも可能です。本モデルには強力な視覚能力があり、ViT-22Bの代替として適しています。我々は本研究がマルチモーダル大規模モデルの発展に貢献することを期待しています。コードとモデルはhttps://github.com/OpenGVLab/InternVLで入手可能です。