Grounding DINO: DINOとGrounded事前学習を組み合わせたオープンセット物体検出

本論文では、Transformerベースの検出器DINOとgrounded事前学習を組み合わせたオープンセット物体検出器「Grounding DINO」を提案します。この検出器は、人間からの入力（カテゴリ名や参照表現など）を使用して任意の物体を検出することができます。オープンセット物体検出の主要な解決策は、言語をクローズドセット検出器に導入し、オープンセット概念の一般化を行うことです。言語と視覚モダリティを効果的に融合させるために、クローズドセット検出器を概念的に3つのフェーズに分け、特徴強化器、言語ガイドクエリ選択、およびクロスモダリティデコーダからなる密接な融合ソリューションを提案します。これまでの研究では主に新規カテゴリでの評価が行われていましたが、属性で指定された物体に対する参照表現理解の評価も行うことを提唱します。Grounding DINOは、これら3つの設定すべてにおいて優れた性能を示しており、COCO、LVIS、ODinW、RefCOCO/+/gなどのベンチマークでも高い評価を得ています。具体的には、COCO検出ゼロショット転移ベンチマークで52.5 AP（平均精度）を達成しており、これはCOCOからの訓練データを使用せずに得られた結果です。また、ODinWゼロショットベンチマークにおいても平均26.1 APという新しい記録を樹立しています。コードは\url{https://github.com/IDEA-Research/GroundingDINO}で公開予定です。