訓練データ効率的な画像変換器と注意を介したディスティレーション

最近、注意機構のみを使用したニューラルネットワークが、画像分類などの画像理解タスクを処理できることが示されました。しかし、これらのビジュアルトランスフォーマーは、高価なインフラストラクチャを使用して数億枚の画像で事前学習されるため、その採用が制限されています。本研究では、ImageNetのみを使用して訓練することで競争力のある畳み込みを用いないトランスフォーマーを生成しました。単一のコンピュータで3日未満で訓練を行いました。当社の基準となるビジョントランスフォーマー（86Mパラメータ）は、外部データなしでImageNetにおいて単一クロップ評価でのトップ-1精度83.1%を達成しました。さらに重要な点として、トランスフォーマーに特化した教師-生徒戦略を導入しています。この戦略は、注意機構を通じて生徒が教師から学ぶことを保証するディスティレーショントークンに依存しています。特に教師として畳み込みネットワーク（ConvNet）を使用する場合、このトークンベースのディスティレーションの有用性を示しています。これにより、ImageNet（最大85.2%の精度）や他のタスクへの転移学習においても畳み込みネットワークと競合する結果を得ることができました。コードとモデルを共有します。