要約
COCOなどのベンチマークは、物体検出において重要な役割を果たしている。しかし、既存のベンチマークはスケール変動の面で十分ではなく、比較のためのプロトコルも公平性に欠ける。本論文では、普遍的なスケール対応を実現する物体検出ベンチマーク「Universal-Scale Benchmark（USB）」を提案する。USBは、最近提案されたWaymo Open DatasetおよびManga109-sデータセットとCOCOを統合することで、物体のスケールおよび画像ドメインの多様性を実現している。公平な比較と包括的な研究を促進するために、トレーニングおよび評価プロトコルを提案する。これらのプロトコルは、スポーツにおける重量級クラスのように、トレーニングエポック数や評価画像解像度に複数の段階を設け、また、Universal Serial Bus（USB）の後方互換性のように、異なるトレーニングプロトコル間の互換性を備えている。具体的には、参加者に対し、より長時間のトレーニング（高プロトコル）だけでなく、短時間のトレーニング（低プロトコル）での結果も報告するよう要請している。提案されたベンチマークおよびプロトコルを用いて、15種類の手法を対象に広範な実験を実施した結果、従来のCOCOに偏った手法の脆弱性が明らかになった。コードは以下のURLで公開されている：https://github.com/shinya7y/UniverseNet。