近年、視覚的表現とテキスト表現の共同モデリングに関する進展に伴い、視覚言語事前学習（Vision-Language Pretraining; VLP）は、多数のマルチモーダル下流タスクにおいて顕著な性能を達成している。しかし、クリーンな画像キャプションや領域ラベルを含む高コストなアノテーションを必要とするという制約が、既存のアプローチのスケーラビリティを制限しており、複数のデータセット固有の目的関数を導入することにより、事前学習プロセスがさらに複雑化している。本研究では、こうした制約を緩和し、シンプルな事前学習フレームワークである「Simple Visual Language Model（SimVLM）」を提案する。従来の手法とは異なり、SimVLMは大規模な弱教師付き学習を活用することで訓練の複雑性を低減し、単一のプレフィックス言語モデリング目的関数に基づいてエンドツーエンドで学習される。追加データやタスク特化的なカスタマイズを一切用いずに、本モデルは従来の事前学習手法を大きく上回り、VQA（+3.74%のVQAスコア）、NLVR2（+1.17%の精度）、SNLI-VE（+1.37%の精度）、画像キャプション（平均CIDErスコアで+10.1%）を含む広範な識別的・生成的視覚言語ベンチマークにおいて、新たな最先端性能を達成した。さらに、SimVLMが優れた汎化能力および転移能力を獲得していることを実証し、オープンエンドな視覚質問応答や異モダリティ間転移といったゼロショット行動を実現可能であることを示した。