MAEの事前学習が10億規模の事前学習における効果性

本論文では、コンピュータビジョンにおける視覚認識タスクに用いられる標準的な事前学習後に微調整を行うパラダイムを見直しています。一般的に、最先端の基盤モデルは、数十億枚の画像を含む大規模（弱）教師ありデータセットを使用して事前学習されます。私たちは、自己監督型MAE（Masked Autoencoder）技術を用いてモデルを初期化する追加の事前学習段階を導入します。MAEはこれまでモデルのサイズとともにスケーリングすることが示されてきましたが、私たちはそれが訓練データセットのサイズともスケーリングすることを見出しました。したがって、私たちのMAEベースの事前学習はモデルとデータセットの両方のサイズとともにスケーリングし、基盤モデルの訓練に適用可能です。この事前学習は、数百万から数十億パラメータを持つさまざまなモデルスケールや、数百万から数十億枚の画像を含むデータセットサイズにおいて一貫してモデル収束と下流タスクへの転移性能を向上させます。私たちは10種類の異なる視覚認識タスク（画像分類、動画認識、物体検出、少ショット分類、ゼロショット認識）で事前学習の効果を測定しました。最大規模のモデルはiNaturalist-18（91.7%）、ImageNet-ReaL（91.1%）、1-shot ImageNet-1k（63.6%）、およびFood-101でのゼロショット転移（96.2%）において新たな最先端結果を達成しました。当研究は、数十億枚の画像を使用したウェブスケールでの事前学習であってもモデル初期化が重要な役割を果たすことを明らかにしています。また、私たちが開発したモデルは公開されています。注：「少ショット分類」（few-shot classification）、「ゼロショット認識」（zero-shot recognition）などの専門用語については一般的な日本語訳を使用しています。