すべてのトークンが重要：より良いビジョントランスフォーマーの学習のためのトークンラベリング

本論文では、高性能ビジョントランスフォーマー（ViT）の学習に用いる新しい訓練目標であるトークンラベリングについて紹介します。従来のViTの標準的な訓練目標とは異なり、当研究で提案する方法は、追加の学習可能なクラストークンに対する分類損失を計算するのではなく、すべての画像パッチトークンを用いて密集的に訓練損失を計算します。具体的には、トークンラベリングは画像分類問題を複数のトークンレベル認識問題に再定式化し、各パッチトークンに対して機械アノテーターによって生成された個別の位置依存監督情報を割り当てます。実験結果は、トークンラベリングが様々なViTモデルにおいて広範なスペクトルにわたって明確かつ一貫して性能向上をもたらすことを示しています。例えば、26Mの学習可能なパラメータを持つビジョントランスフォーマーでは、トークンラベリングを使用することでImageNetでのTop-1精度が84.4%に達しました。さらに、モデルサイズをわずか150Mに拡大することでこの精度は86.4%まで向上し、これにより以前のモデル（250M+）で達成した86%以上の最小サイズのモデルとなりました。また、当研究ではトークンラベリングが事前学習済みモデルの下流タスクにおける一般化能力を明確に向上させることも示しており、特にセマンティックセグメンテーションなどの密集予測タスクにおいてその効果が確認されています。当研究チームはコードおよびすべての訓練詳細を公開することとし、公開先は以下のURLです：https://github.com/zihangJiang/TokenLabeling。