Omni-DETR：Transformersを用いたオムニ監督型オブジェクト検出

オムニ監督型オブジェクト検出の問題について検討する。これは、ラベルのないデータ、完全ラベル付きデータ、および弱いラベル（画像タグ、オブジェクト数、ポイントなど）を統合的に利用可能なオブジェクト検出の枠組みである。このアプローチは、最近の学生-教師フレームワークおよびエンドツーエンドTransformerベースのオブジェクト検出の進展を基盤とした統一アーキテクチャ、Omni-DETRによって実現される。この統一アーキテクチャの下で、異なる種類の弱いラベルは、二部マッチングに基づくフィルタリング機構を用いて、高精度な擬似ラベルを生成し、モデルがそれらを学習することができる。実験の結果、Omni-DETRは複数のデータセットおよび設定において最先端の性能を達成した。また、弱いラベルが検出性能の向上に寄与すること、さらに、標準的な完全ラベルに比べて、ラベル付けコストと精度の間でより良いトレードオフを実現するためには、複数の弱いラベルを混合して用いることが有効であることが明らかになった。これらの知見は、混合ラベルを用いた大規模なオブジェクト検出データセットの構築を促進する可能性がある。コードは以下のURLで公開されている：https://github.com/amazon-research/omni-detr。