2ヶ月前
220億パラメータのビジョントランスフォーマーへのスケーリング
Mostafa Dehghani; Josip Djolonga; Basil Mustafa; Piotr Padlewski; Jonathan Heek; Justin Gilmer; Andreas Steiner; Mathilde Caron; Robert Geirhos; Ibrahim Alabdulmohsin; Rodolphe Jenatton; Lucas Beyer; Michael Tschannen; Anurag Arnab; Xiao Wang; Carlos Riquelme; Matthias Minderer; Joan Puigcerver; Utku Evci; Manoj Kumar; Sjoerd van Steenkiste; Gamaleldin F. Elsayed; Aravindh Mahendran; Fisher Yu; Avital Oliver; Fantine Huot; Jasmijn Bastings; Mark Patrick Collier; Alexey Gritsenko; Vighnesh Birodkar; Cristina Vasconcelos; Yi Tay; Thomas Mensink; Alexander Kolesnikov; Filip Pavetić; Dustin Tran; Thomas Kipf; Mario Lučić; Xiaohua Zhai; Daniel Keysers; Jeremiah Harmsen; Neil Houlsby
要約
トランスフォーマーのスケーリングは、言語モデルの能力を飛躍的に向上させる原動力となっています。現在、最大の大型言語モデル（LLM）は1000億以上のパラメータを含んでいます。ビジョン・トランスフォーマー（ViT）は画像と動画モデリングに同じアーキテクチャを導入しましたが、これらはまだ同程度まで成功裏にスケーリングされていません；最大の完全結合型ViTは4億のパラメータを含んでいます（Chenら, 2022）。本稿では、22億パラメータを持つViT（ViT-22B）の高効率かつ安定した学習方法を提示し、その結果得られたモデルに対して多様な実験を行いました。下流タスクでの評価において（しばしば固定された特徴量に対して軽量な線形モデルを使用して）、ViT-22Bはスケールとともに性能が向上することを示しています。さらに、スケールによる他の興味深い利点も観察されました。これらの利点には、フェアネスと性能間のトレードオフの改善、形状/テクスチャバイアスに関する人間の視覚認識との最先端の一貫性、およびロバストさの向上が含まれます。ViT-22Bはビジョンにおける「LLMのような」スケーリングの可能性を示し、その達成に向けて重要なステップを提供しています。