Hiera: ベルやホイッスルなしの階層的ビジョントランスフォーマー

現代の階層的ビジョントランスフォーマーは、教師あり分類性能の向上を目指して、いくつかの視覚特有のコンポーネントを追加しています。これらのコンポーネントにより、効果的な精度と魅力的なFLOP数が得られますが、追加された複雑さにより、これらのトランスフォーマーは単純なViT（Vision Transformer）よりも実際には遅くなっています。本論文では、この追加の複雑さは不要であると主張します。強力な視覚的前タスク（MAE: Masked Autoencoder）で事前学習を行うことで、最先端の多段階ビジョントランスフォーマーからすべての装飾的な要素を取り除くことが可能であり、精度を失うことなく非常にシンプルなモデルを作成できます。その過程で、私たちはHieraという極めて単純な階層的ビジョントランスフォーマーを作成しました。Hieraは以前のモデルよりも正確でありながら、推論時および学習中も大幅に高速です。私たちはHieraを画像認識とビデオ認識の様々なタスクで評価しました。コードとモデルはhttps://github.com/facebookresearch/hiera で公開されています。