ワンタイム事前トレーニング（Pre-training Once、略してPOA）は、2024年にAnt Groupによって提案された論文です。POA: あらゆるサイズのモデルに対して 1 回の事前トレーニングで提案されている 3 ブランチの自己教師ありトレーニング フレームワークでは、弾力性のあるスチューデント ブランチを導入することで、トレーニング前の各ステップでトレーニング用のサブネットワークをランダムにサンプリングします。 POA は 1 回の事前トレーニング セッションで複数のサイズのモデルを生成でき、複数のタスクで最先端のパフォーマンスを達成することが実験で証明されています。

研究の背景

大規模な自己教師付き事前トレーニングにより、単一の基本モデルでさまざまな視覚タスクを処理できる道が開かれます。ほとんどの事前トレーニング方法は、一度に特定のサイズのモデルのみをトレーニングします。ただし、現実のシナリオではさまざまな計算またはストレージの制約があるため、展開用にさまざまなサイズのモデルを開発するには多大な労力が必要です。この研究は上記の問題に対処します。

事前トレーニング 1 回の概要

革新的な回復力のある学生部門を現代の自己洗練パラダイムに導入します。事前トレーニングの各ステップで、研究チームは元のスチューデントからサブネットワークをランダムに選択して弾力性のあるスチューデントを形成し、自己洗練された方法ですべてのブランチをトレーニングします。事前トレーニングが完了すると、POA はダウンストリーム タスクで使用するために、さまざまなサイズの事前トレーニングされたモデルを抽出できます。特に、Elastic Student は、異なるサイズの複数のモデルの同時事前トレーニングを容易にし、表現学習を強化するためのさまざまなサイズのモデルの追加アンサンブルとしても機能します。広範な実験 (k 最近傍法、線形検出評価、および複数の下流タスクでの評価を含む) により、この研究の POA の有効性と利点が実証されています。 ViT、Swin Transformer、および ResNet バックボーンを使用して最先端のパフォーマンスを実現し、単一の事前トレーニング セッションからさまざまなサイズの約 100 のモデルを生成します。