エンドツーエンドオブジェクト検出のための密度型特徴的クエリ

オブジェクト検出における1対1のラベル割り当ては、後処理としての非最大抑制（NMS）の必要性を克服し、パイプラインをエンド・トゥ・エンド化することに成功している。しかし、このアプローチは新たな課題を引き起こしている。広く用いられているスパースなクエリでは高いリコールを保証できない一方、デュースなクエリは必然的に類似したクエリを増加させ、最適化の難しさを招く。スパースとデュースの両方のクエリが問題を抱えている中で、エンド・トゥ・エンドオブジェクト検出における期待されるクエリとは何か？本論文は、その解決策として「デュース・ディスティンクト・クエリ（Dense Distinct Queries: DDQ）」であることを示す。具体的には、従来の検出器と同様にデュースなクエリを初期配置した後、1対1の割り当てに適した「相違性のある」クエリを選択する。DDQは従来の検出器と最近のエンド・トゥ・エンド検出器の利点を融合し、FCN、R-CNN、DETRを含む多様な検出器の性能を顕著に向上させる。特に注目すべきは、ResNet-50をバックボーンとして用い、12エポックでMS-COCOデータセットにおいて52.1 APを達成したDDQ-DETRが、同設定下で既存のすべての検出器を上回った点である。また、DDQはエンド・トゥ・エンド検出器の利点を共有し、混雑したシーンにおいても優れた性能を発揮し、CrowdHumanデータセットで93.8 APを達成した。本研究が、従来手法とエンド・トゥ・エンド検出器の相補性を再考するきっかけとなることを期待する。ソースコードは以下のURLから入手可能である：\url{https://github.com/jshilong/DDQ}。