要約
私たちは、階層構造のないシンプルなビジョントランスフォーマー（ViT）をオブジェクト検出のバックボーンネットワークとして探究します。この設計により、元のViTアーキテクチャを階層的なバックボーンの再設計なしで、オブジェクト検出に微調整することが可能になります。微調整に最小限の適応を行うことで、私たちのシンプルなバックボーン検出器は競合する結果を得ることができます。驚くべきことに、以下の観察が得られました。(i) 単一スケールの特徴マップから単純な特徴ピラミッドを構築するだけで十分であり（一般的なFPNデザインなし）、(ii) シフトなしでウィンドウ注意機構を使用し、非常に少ないクロスウィンドウ伝播ブロックを補助することで十分であることが確認されました。マスク付きオートエンコーダー（MAE）として事前学習されたシンプルなViTバックボーンを使用して、私たちの検出器であるViTDetは、階層的なバックボーンに基づくこれまでの最先端手法と競争することができます。COCOデータセットにおいてImageNet-1Kのみを使用した事前学習で最大61.3 AP_boxを達成しています。私たちは本研究がシンプルなバックボーン検出器に関する研究に注目を集めることを期待しています。ViTDetのコードはDetectron2で利用可能です。