2ヶ月前

DETRの協調ハイブリッド割り当てトレーニング

Zhuofan Zong; Guanglu Song; Yu Liu
DETRの協調ハイブリッド割り当てトレーニング
要約

本論文では、DETRにおいて一対一の集合マッチングによって正例として割り当てられるクエリが少なすぎることでエンコーダ出力に対する疎な教師付けが生じ、これがエンコーダの識別的特徴学習を著しく損ねる問題点を指摘しています。また、デコーダにおける注意学習も同様に影響を受けます。この問題を緩和するため、多様なラベル割り当て方法からより効率的かつ効果的なDETRベースの検出器を学習させる新しい協調ハイブリッド割り当て訓練スキームである$\mathcal{C}$o-DETRを提案します。この新しい訓練スキームは、ATSSやFaster RCNNなどの一対多ラベル割り当てによって監督される複数の並列補助ヘッドを使用することで、エンドツーエンド検出器におけるエンコーダの学習能力を容易に向上させることができます。さらに、これらの補助ヘッドから正例座標を抽出し、カスタマイズされた追加の正例クエリを作成することで、デコーダでの正例サンプルの訓練効率を改善します。推論時にはこれらの補助ヘッドが廃棄されるため、当手法は元の検出器に対して追加のパラメータや計算コストを導入せず、手動で最大値抑制(NMS)を行う必要もありません。我々はDAB-DETR, Deformable-DETR, DINO-Deformable-DETRなどのDETR変種モデルに対して提案手法の有効性を評価するための広範な実験を行いました。最先端のDINO-Deformable-DETR(Swin-L使用)はCOCO valで58.5%から59.5% APへと改善されました。驚くことに、ViT-Lバックボーンと組み合わせた場合、COCO test-devで66.0% AP、LVIS valで67.9% APという結果を得ることができました。これはモデルサイズが大幅に少ないにもかかわらず、従来の手法よりも明確に優れた性能です。コードは\url{https://github.com/Sense-X/Co-DETR}から入手可能です。

DETRの協調ハイブリッド割り当てトレーニング | 最新論文 | HyperAI超神経