大規模言語モデル（LLM）の指数関数的な成長は、マルチモーダルAGIシステムの多くの可能性を開きました。しかし、視覚および視覚-言語基盤モデルの進歩は、マルチモーダルAGIにとっても重要な要素であるにもかかわらず、LLMの進歩に追いついていません。本研究では、ウェブスケールの画像-テキストデータを様々なソースから使用して、視覚基盤モデルを60億パラメータに拡大し、段階的にLLMと合わせる大規模な視覚-言語基盤モデル（InternVL）を設計しました。このモデルは、画像レベルやピクセルレベルの認識などの視覚認識タスクや、ゼロショット画像/動画分類やゼロショット画像/動画-テキスト検索などの視覚-言語タスクを含む32の一般的な視覚-言語ベンチマークにおいて広く適用され、最先端の性能を達成することができます。また、LLMと連携してマルチモーダル対話システムを作成することも可能です。本モデルには強力な視覚能力があり、ViT-22Bの代替として適しています。我々は本研究がマルチモーダル大規模モデルの発展に貢献することを期待しています。コードとモデルはhttps://github.com/OpenGVLab/InternVLで入手可能です。