USB : Benchmark de détection d'objets à échelle universelle

Les benchmarks, tels que COCO, jouent un rôle fondamental dans la détection d'objets. Toutefois, les benchmarks existants sont insuffisants en ce qui concerne la variation d'échelle des objets, et leurs protocoles ne permettent pas une comparaison équitable. Dans cet article, nous introduisons le benchmark de détection d'objets à échelle universelle (Universal-Scale object detection Benchmark, USB). USB intègre des variations d'échelle des objets et des domaines d'images en combinant COCO avec le récent dataset Waymo Open Dataset et le dataset Manga109-s. Pour permettre une comparaison équitable et favoriser une recherche inclusive, nous proposons des protocoles d'entraînement et d'évaluation. Ces protocoles comportent plusieurs niveaux selon le nombre d'époques d'entraînement et la résolution des images d'évaluation, analogues aux catégories de poids dans les sports, ainsi qu'une compatibilité entre les protocoles d'entraînement, similaire à la compatibilité descendante du bus universel série (USB). Plus précisément, nous demandons aux participants de rapporter leurs résultats non seulement avec des protocoles supérieurs (entraînement plus long) mais aussi avec des protocoles inférieurs (entraînement plus court). En utilisant le benchmark et les protocoles proposés, nous avons mené des expériences approfondies sur 15 méthodes et identifié des faiblesses des méthodes actuelles biaisées par COCO. Le code est disponible à l’adresse suivante : https://github.com/shinya7y/UniverseNet.