Salience DETR: ヒエラルキー型サリエンスフィルタリングによる検出トランスフォーマーの強化

DETRのような手法は、エンドツーエンドの方法で検出性能を大幅に向上させました。これらの主流の2段階フレームワークでは、密集した自己注意（self-attention）を行い、一部のクエリを選択して疎なクロス注意（sparse cross-attention）を行います。これは性能向上に効果的であることが証明されていますが、同時に重い計算負荷と安定したクエリ選択への高い依存性も導入しています。本論文では、最適でない2段階選択戦略が、選択されたクエリとオブジェクトとの間の不一致によりスケールバイアスと冗長性を引き起こすことを示します。これらの問題に対処するために、階層的な注目度フィルタリング洗練化（hierarchical salience filtering refinement）を提案します。この手法では、フィルタリングされた識別的なクエリに対してのみトランスフォーマーエンコーディングを行うことで、計算効率と精度のバランスをより良く取ります。フィルタリングプロセスは、新しいスケール非依存型注目度監督（scale-independent salience supervision）を通じてスケールバイアスを克服します。また、クエリ間の意味的ずれを補償するため、詳細なクエリ洗練化モジュール（elaborate query refinement modules）を導入し、安定した2段階初期化を実現します。以上の改善に基づき、提案されたSalience DETRは3つの課題固有の検出データセットで+4.0% AP, +0.2% AP, +4.4% APの大幅な性能向上を達成しました。さらにCOCO 2017においても少ないFLOPsで49.2% APを達成しています。コードは以下のURLから入手可能です: https://github.com/xiuqhou/Salience-DETR.