USB: Universal-Scale Object Detection Benchmark

Benchmarks wie COCO spielen eine entscheidende Rolle bei der Objekterkennung. Allerdings sind bestehende Benchmarks hinsichtlich der Skalenvariation unzureichend, und ihre Protokolle eignen sich nicht ausreichend für einen fairen Vergleich. In diesem Paper stellen wir den Universal-Scale-Objekterkennungs-Benchmark (USB) vor. Der USB integriert Variationen in Objektskalen und Bilddomänen, indem er COCO mit dem kürzlich vorgestellten Waymo Open Dataset und dem Manga109-s-Dataset kombiniert. Um einen fairen Vergleich und eine inklusive Forschung zu ermöglichen, schlagen wir Trainings- und Evaluationsprotokolle vor. Diese weisen mehrere Kategorien für Trainingszyklen und Evaluationsbildauflösungen auf, ähnlich wie Gewichtsklassen im Sport, und gewährleisten Kompatibilität zwischen Trainingsprotokollen, vergleichbar mit der Rückwärtskompatibilität des Universal Serial Bus. Insbesondere bitten wir die Teilnehmer, Ergebnisse nicht nur mit höheren Protokollen (längere Trainingszeiten) sondern auch mit niedrigeren Protokollen (kürzere Trainingszeiten) zu melden. Unter Verwendung des vorgeschlagenen Benchmarks und der Protokolle führten wir umfangreiche Experimente mit 15 Methoden durch und identifizierten Schwächen von bisherigen, COCO-orientierten Ansätzen. Der Quellcode ist unter https://github.com/shinya7y/UniverseNet verfügbar.