BURST: 비디오에서 객체 인식, 분할 및 추적을 통합하는 벤치마크

다수의 기존 벤치마크는 비디오에서 객체 추적과 분할을 포함하고 있으며, 예를 들어 비디오 객체 분할(VOS) 및 다중 객체 추적 및 분할(MOTS) 등이 있습니다. 그러나 이들 간의 상호작용은 다양한 벤치마크 데이터셋과 평가 지표(예: J&F, mAP, sMOTSA)의 사용으로 인해 거의 이루어지지 않습니다. 그 결과, 발표된 연구들은 일반적으로 특정 벤치마크를 대상으로 하며 서로 쉽게 비교하기 어렵습니다. 우리는 이러한 연구 하위 커뮤니티 간에 더 큰 일체감이 필요하다고 믿으며, 이 논문에서는 이를 촉진하기 위해 BURST라는 데이터셋을 제안합니다. 이 데이터셋은 수천 개의 다양한 비디오와 고품질 객체 마스크를 포함하며, 비디오에서 객체 추적과 분할을 포함하는 여섯 가지 태스크와 관련된 벤치마크를 제공합니다. 모든 태스크는 동일한 데이터와 비교 가능한 평가 지표를 사용하여 평가되므로 연구자들이 이를 통합적으로 고려하고, 따라서 다른 태스크 간에 다양한 방법론의 지식을 보다 효과적으로 결합할 수 있습니다. 또한, 우리는 모든 태스크에 대한 여러 기준선을 시연하고 하나의 태스크에 대한 접근 방식이 다른 태스크에도 적용될 수 있으며 성능 차이는 정량화되고 설명 가능함을 보여줍니다. 데이터셋 주석과 평가 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/Ali2500/BURST-benchmark.