メモリ効率の良い大規模画像を用いたメタラーニング

少数ショット分類におけるメタラーニング手法は、テスト時に計算効率が高く、新しいタスクを学習するのに数回の最適化ステップあるいは単一のフォワードパスで十分であるが、トレーニングの際には非常にメモリ集約的である。この制約の原因は、最適化ステップを実行する前に、最大1000枚の画像を含むタスクの完全なサポートセットをすべて処理しなければならない点にあり、大規模な画像による性能向上を活かすには、複数のGPU上でメタラーナーを並列化するか、メモリ制約下でタスクサイズと画像サイズのトレードオフを取る必要がある。本研究では、これら2つの選択肢を改善するため、LITEと呼ばれる汎用的かつメモリ効率の高いエピソードトレーニングスキームを提案する。LITEにより、1つのGPU上で大規模な画像を含む大規模なタスクに対するメタトレーニングを可能にする。その鍵となる洞察は、タスクに対する勾配が、タスクのトレーニング画像群における勾配の和として分解可能であるということである。これにより、タスクの全トレーニングデータに対して1回のフォワードパスを実行しつつ、バックプロパゲーションにおいてこれらの画像のランダムなサブセットのみを用いることで、大きなメモリ節約が実現可能となる。我々は、このアプローチが全勾配のバイアスのない近似であることを実証している。LITEを用いてメタラーナーをトレーニングし、現実世界のORBITベンチマークおよび難易度の高いVTAB+MDベンチマークの4つの部分のうち3つにおいて、最先端の精度を達成した。さらに、LITEはメタラーナーが転移学習アプローチと競合可能な性能を発揮しつつ、テスト時の計算コストを大幅に削減することを可能にした。この結果は、最近の「少数ショット分類において転移学習が唯一必要な手段である」という主張に対して、有力な反論を提示している。