トランスフォーマーのスケーリングは、言語モデルの能力を飛躍的に向上させる原動力となっています。現在、最大の大型言語モデル（LLM）は1000億以上のパラメータを含んでいます。ビジョン・トランスフォーマー（ViT）は画像と動画モデリングに同じアーキテクチャを導入しましたが、これらはまだ同程度まで成功裏にスケーリングされていません；最大の完全結合型ViTは4億のパラメータを含んでいます（Chenら, 2022）。本稿では、22億パラメータを持つViT（ViT-22B）の高効率かつ安定した学習方法を提示し、その結果得られたモデルに対して多様な実験を行いました。下流タスクでの評価において（しばしば固定された特徴量に対して軽量な線形モデルを使用して）、ViT-22Bはスケールとともに性能が向上することを示しています。さらに、スケールによる他の興味深い利点も観察されました。これらの利点には、フェアネスと性能間のトレードオフの改善、形状/テクスチャバイアスに関する人間の視覚認識との最先端の一貫性、およびロバストさの向上が含まれます。ViT-22Bはビジョンにおける「LLMのような」スケーリングの可能性を示し、その達成に向けて重要なステップを提供しています。