초록
객체 탐지 분야에서 COCO와 같은 벤치마크는 핵심적인 역할을 한다. 그러나 기존 벤치마크는 객체의 크기 변동에 대한 충분한 규모를 갖추지 못하고 있으며, 공정한 비교를 위한 프로토콜도 부족하다. 본 논문에서는 유니버설 스케일 객체 탐지 벤치마크(USB)를 제안한다. USB는 최근 제안된 Waymo Open Dataset과 Manga109-s 데이터셋을 COCO와 결합함으로써 객체의 크기 변화 및 이미지 도메인의 다양성을 반영한다. 공정한 비교와 포괄적인 연구를 가능하게 하기 위해, 훈련 및 평가 프로토콜을 제안한다. 이 프로토콜은 스포츠에서의 등급 분류와 유사하게 훈련 에포크 수와 평가 이미지 해상도에 따라 여러 분류를 두며, 유니버설 시리얼 버스(USB)의 역방향 호환성과 유사하게 훈련 프로토콜 간의 호환성을 보장한다. 구체적으로, 참가자들에게 긴 훈련(고수준 프로토콜)에 대한 결과뿐 아니라 짧은 훈련(저수준 프로토콜)에 대한 결과도 보고하도록 요청한다. 제안된 벤치마크와 프로토콜을 활용하여 15가지 방법을 대상으로 광범위한 실험을 수행한 결과, 기존 COCO 중심의 방법들에 대한 약점을 확인할 수 있었다. 코드는 https://github.com/shinya7y/UniverseNet 에서 공개된다.