PaLI: 複数言語の言語-画像モデルの共同スケーリング

効果的なスケーリングと柔軟なタスクインターフェースにより、大規模言語モデルは多くのタスクで優れた性能を発揮します。本稿では、PaLI（Pathways Language and Image model）というモデルを紹介します。このモデルは、言語と視覚の共同モデリングにこのアプローチを拡張しています。PaLIは視覚的およびテキスト入力に基づいてテキストを生成し、このインターフェースを利用して多言語で多くの視覚的、言語的、およびマルチモーダルタスクを実行します。PaLIの訓練には、大規模事前学習済みのエンコーダー-デコーダー言語モデルとビジョントランスフォーマー（Vision Transformers: ViTs）を利用しています。これにより、既存の能力を活用し、それらの訓練にかかる大きなコストを有効に利用できます。我々は、視覚的および言語的コンポーネントの共同スケーリングが重要であることを確認しました。既存の言語トランスフォーマーは視覚トランスフォーマーよりも遥かに大きいことから、より大容量の視覚モデルからの利点を定量的に評価するために、40億パラメータを持つ大型ViT（ViT-e）を訓練しました。PaLIの訓練のために、新しい画像-テキスト訓練セットを使用して100以上の言語で10B枚の画像とテキストを含む大規模な多言語事前学習タスク混合データを作成しました。PaLIはキャプショニングやビジュアル質問応答、シーンテキスト理解などの複数の視覚的・言語的タスクにおいて最先端の性能を達成しながら、単純でモジュール化され、スケーラブルな設計を維持しています。